LINEで送る
Pocket

BigQueryのテーブルを間違えて消しても復元できるの知ってた!?

BigQueryのテーブルは謝って削除しても復元可能です。しかし、重要なのはviewテーブルのクエリら?定期的に全バックアップをしないと死亡するため、頑張ってシェル芸してみました。👍


■bq show

https://cloud.google.com/bigquery/bq-command-line-tool?hl=ja#listdatasets

  • bq ls

  • bq show

  • test.json

bq showで全ての情報がjsonで返ってくるので、一番下のqueryをいい感じに取ってきます。


■backup-all-views.sh

全viewテーブルのクエリをsqlで日付ごとに保存し、世代は5日で十分かと🙆🏻‍♂️
実行すると以下のようにsqlファイルが出来上がり、クエリが保存されています。
※jqコマンド必須!

  • cron

S3にコピーすれば完全に冗長化!

🙆🏻‍♂️


■まとめ

これで削除しても復元可能!!
バックアップ大事?

LINEで送る
Pocket

カテゴリー: BigQueryshell script

あだちん

1989年生まれ。 ランサーズ/SRE。 ホスティングから大規模なアドテクなどのインフラエンジニアとして携わり、他社インフラレスポンス改善などの副業、ansibleでのインフラコード化を推進し、未経験によるエンジニアのメンターなども実施している。また、「脆弱性スキャナVuls」のOSS活動もしており、自称エバンジェリスト/広報/VulsRepo init file,chatwork通知のコントリビュータでもある。現在はDocker開発環境の提供、AWSで新サービスのインフラ構築、PHPバージョンアップ、新卒採用、採用広報、分析基盤を担当している。

コメントを残す

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください