BigQuery
[embulk][digdag][S3]配列でできているJSONファイルをBigQueryにシンクする
今回S3にある、圧縮された配列でできているJSONファイルをembulkでBigQueryにシンクし 続きを読む…
digdag
[シェルスクリプト]CSVを読み込んで1行ずつループ処理とif文で特定の文字列を条件分岐する
シェル芸マスターには程遠いですが🙆🏻♂️ digdagの設定ファイルを自動化する時(以下ブログより 続きを読む…
BigQuery
[embulk]SalesforceのデータをBigQueryに同期できるか試してみた！
前回は抽出のみだったので、今回はBigQueyにぶち込めるのか試してみました！ しかもSalesfo 続きを読む…
digdag
[Digdag][embulk]Error: java.lang.NullPointerException
Digdagを運用していると以下のようにエラーが複数出た。 何回も手動でdigdag runしてもエ 続きを読む…
BigQuery
[BigQuery][Digdag][embulk][SQL]dateカラムはtimestamp_formatで日付型にする!!
🤷🏻♂️ [BigQuery][Digdag][SQL][embulk-filter-column 続きを読む…
digdag
[Digdag][shell script]slack/chatworkでシンプルなエラー通知を行う
今までDIgdagでエラー通知をchatworkで行っていたのですが、slackでイケてる通知できな 続きを読む…
BigQuery
[BigQuery][Digdag][SQL][embulk-filter-column]年と月を保持するためのカラム追加はembulkでできる!
月次で、あるDBをBigQueryに転送したい場合、 実行した年と月をカラムに出力しないといつ実行さ 続きを読む…
BigQuery
[Digdag][embulk][MySQL]BigQueryにtinyint,bool型を入れるにはSIGNED型にキャストしないとアカン!
RDSにあるデータをembulkを使ってBigQueryに飛ばすようにテストを繰り返していました&# 続きを読む…
AWS
[AWS]RDS(Aurora)のgeneral_logはTRUNCATEで削除できない!?
本日はembulkでBigQueryからRDS(Aurora)に何回もrunしたら、 DBがフェイ 続きを読む…
AWS
[Digdag][embulk-input-bigquery]BigQueryからMySQLにクエリーを飛ばすには!?
今回はembulkでBigQueryのview table(クエリー)をMySQL(Aurora)に 続きを読む…
digdag
[Digdag][embulk]過去ログを投入するのに手動で日付を指定するのは辛いのでシェルスクリプト化してみた
!!!!!!! [Treasure Data][Redash]Digdagとembulkを使いこなせ 続きを読む…
digdag
[Treasure Data][Redash]Digdagとembulkを使いこなせば驚異的な分析基盤が出来上がる!!
最近Digdagとembulkを勉強してまして、 以前、イマイチDiddagについてまったく理解出来 続きを読む…