個人で運用しているk8s(wiki)なのだが、そろそろバージョンアップしないとヤバそう…それにボリュームマウントしているからCircleCIでソースコードコピーしてデプロイメントみたいな運用にしたいところ。まずは開発環境から作って実装してみるかな。
— adachin👾SRE (@adachin0817) July 18, 2021
2年前構築したwiki.adachin.meはDigitalOceanのKubernetesで運用しており、v1.15から特に何もせずにバージョンアップを放置していました。ちなみにその2年前はECS/Fargateの勉強をしていたこともあり、なかなか時間が取れなかった…！(言い訳するんじゃないよ！)
そして本日Kubernetesの最新バージョンはなんとv1.21にも上がっていたんですね。。今回初めてv1.15からv1.21にバージョンアップを行なったので手順等ブログしたいと思います。
現状の構成
もともとDBはKubernetesのnode上にMySQLコンテナを立てて運用していましたが、上記の去年初頭にManaged DatabasesでMySQL8が対応したということもありまして移行し、MySQLコンテナを廃止しました。※旧構成に関してはこちら。そしてWordPressコンテナはボリュームマウントしています。今後はコンテナにソースコードをコピーしてデプロイできるように変更したいところだね….まずはMinikubeで開発環境を作るところかな。プラス画像はOffload Media Liteプラグインを利用して、Spaces(AWSのS3的な)で格納しています。
というわけでバージョンアップやってみましょう！
よおおおおおおし！今からhttps://t.co/zRxq72AqFyのk8sバージョンアップ(1.21に)をするぞ！！ コワイぞおお！ pic.twitter.com/9JVga4Lqx1
— adachin👾SRE (@adachin0817) July 23, 2021
Vesion Upgrade v1.15.12-do.8
- v1.15.12-do.8
https://t.co/0ppgzzJbcl
お亡くなりになりました pic.twitter.com/PQo2AEdmFS— adachin👾SRE (@adachin0817) July 23, 2021
バージョンアップキツイってのはこういうことなのか〜本来であればminikubeで開発環境作って、そこからバージョンアップして本番も適用するんだろうけどそんなものはないのでググりまくろう！
— adachin👾SRE (@adachin0817) July 23, 2021
|
1 2 3 |
$ kubectl get pods NAME READY STATUS RESTARTS AGE wordpress-7bbc8b7567-ftcgx 0/1 CreateContainerConfigError 0 2m3s |
|
1 2 3 4 5 6 |
$ kubectl describe pods Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal SandboxChanged 10m (x8 over 10m) kubelet Pod sandbox changed, it will be killed and re-created. Warning Failed 39s (x73 over 10m) kubelet Error: secret "wp-db-secrets" not found |
まずはv1.15のマイナーバージョンアップから試してみると、速攻で失敗しました。ここは本来であればメンテモードにするべきだな…この場合は以下のようにdescribeでpodsのエラーを確認してみると「secretがないよ」と怒られています。自分の記憶だとMySQLコンテナを廃止したときにmanifestファイルも消してしまったので、以下のように一旦secretは削除してapplyをし直します。
|
1 2 3 4 5 6 |
$ kubectl get secrets NAME TYPE DATA AGE default-token-jrqw6 kubernetes.io/service-account-token 3 678d $ kubectl delete secret default-token-jrqw6 secret "default-token-jrqw6" deleted |
- delete apply
|
1 |
$ kubectl apply -f manifests/wordpress-deployment.yaml |
- 確認
|
1 2 3 4 5 6 |
$ kubectl exec -it wordpress-x -- bash root@wordpress-x:/var/www/html# php -v PHP 7.4.21 (cli) (built: Jul 22 2021 02:59:34) ( NTS ) Copyright (c) The PHP Group Zend Engine v3.4.0, Copyright (c) Zend Technologies with Zend OPcache v7.4.21, Copyright (c), by Zend Technologies |
これでマイナーバージョンアップをすることができました。次はv1.17になりますが基本的にはローリングアップデートをしながら徐々にバージョンを上げていきます。いきなりv0.21にはできませんね。
Vesion Upgrade v1.17.16-do.0
https://docs.digitalocean.com/products/kubernetes/resources/clusterlint-errors/#dobs-pod-owner
- manifests/wordpress-deployment.yaml
https://kubernetes.io/ja/docs/concepts/workloads/controllers/statefulset/
v1.17からvolumesの書き方が変わったそうです。なのでmanifestファイルを変更しなければなりません。ついでにWordPressコンテナイメージのPHPバージョンを7.3から7.4に変更しました。DOのボリュームを参照する場合はkindを StatefulSet に変更して volumeClaimTemplates を新たに指定する必要があります。ここらへん少し変わってるな….これでdeleteとapplyをし直せばバージョンアップ可能になりました。
なるほどね〜k8sバージョンアップに伴いmanifestsファイルの書き方だいたいわかってきた。基本DOのドキュメント読んで書き直すだけだ。
— adachin👾SRE (@adachin0817) July 23, 2021
v1.18.19-do.0→v1.21.2-do.2
1.21.2-do.2
ついに最新まできたぞ！！終わる..！ pic.twitter.com/sIjo6TVgq5— adachin👾SRE (@adachin0817) July 23, 2021
v1.18からv1.21までは特にエラーも起きず、すんなり最新にバージョンアップすることができました。あとDOはTerraformですべて管理されているので、差分を修正して完了となります。監視で利用しているMackerelコンテナも落ちてたので復旧済み。ちなみにTerraform Cloudはtfstateファイルの管理以外全く触ってなかったのでSlack通知やってみた。CircleCIでもTerraform CIが動いているので、完全に冗長化だなｗ
- Terraform Cloud
- CircleCI
|
1 2 3 4 5 6 7 8 9 |
$ kubectl get services NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE kubernetes ClusterIP 10.245.0.1 <none> 443/TCP 678d wordpress-lb LoadBalancer 10.245.1.33 104.248.98.75 80:30700/TCP,443:31279/TCP 678d $ kubectl get pods NAME READY STATUS RESTARTS AGE mackerel-agent 1/1 Running 0 80m wordpress 1/1 Running 0 102m |
まとめ
1.15から1.21にk8sバージョンアップできました🎉
ブログ明日書きます！ https://t.co/I24sjkpd7i pic.twitter.com/8UpvV2z8ee— adachin👾SRE (@adachin0817) July 23, 2021
初めてKubernetesのバージョンアップ対応をしましたが、これがみんなツライとよく口にしていたことなのかと感じましたし、私の場合はWordPressなので特に難しい処理もしていないので、逆に楽だなと思いました。これがRailsやLaravelで運用となると相当manifestファイルも膨大ですし、メンテツラそうというのが予想できる….
とりあえず3時間ほどでバージョンアップと知見も高まったのでよかった…！次は開発環境作ってみたいと思います！お疲れ様でした…！そしてTwitterでリプ頂いた@RyoMa_0923さんフォローあざました！！
yamlのapiVersionだかを見てみると良いかもです。
1.15 -> 1.21だと結構なリソースが変わっていたような…— カルロスわらふじ@牛勢 (@RyoMa_0923) July 23, 2021
0件のコメント