😩

[BigQuery][Digdag][SQL][embulk-filter-column]年と月を保持するためのカラム追加はembulkでできる!

前回のブログにbirthdayカラムにcolumn_optionstimestamp_formatを指定していますが、
なぜこんな書き方をしているのか説明していなかったので今回紹介します。
今日もembulkの設定ファイルを作成しているときにハマって、忘れていたのでmajide覚えます!!(自分に言ってる😳)


■TIMESTAMP

例ですが、上記のようなSQLの出力をBigQueryに同期したい場合、
dateはDATE型に指定するとBigQueryにぶち込めません。(embulkでエラー出るはず)
従って以下のようにTIMESTAMP型にしてしまうと入りますが何時何分秒まで表記されてしまいます。

・hoge.json

・BigQuery

これを回避するためにtimestamp_formatで日付型に変換するというわけです。


■timestamp_format

・hoge.yml.liquid

・hoge.json

・BigQuery


■まとめ

うむ。BigQueryの仕様だからしゃーない。
もう覚えた。

The following two tabs change content below.

あだちん

1989年生まれ。 ランサーズ/SRE。 ホスティングから大規模なアドテクなどのインフラエンジニアとして携わり、ランサーズにてサーバ系のお仕事も副業で行い、他社インフラレスポンス改善、ansibleでのインフラコード化を推進し、未経験によるエンジニア勉強会なども実施している。 そして「脆弱性スキャナVuls」のOSS活動もしており、自称エバンジェリスト/広報/VulsRepo init file,chatwork通知のコントリビュータでもある。 現在はDocker開発環境の提供,AWSで新サービスのインフラ構築,PHPバージョンアップ,分析基盤を担当しておりDigdag,embulk,BigQueryを使いこなそうと奮闘中。

コメントを残す

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください