digdag
[Digdag][v0.9.28]Retry Intervalによって手動でRetryすることがなくなった!
Digdag運用している方にとって大変なのが、度々起こるシンクでの Fail (以下画像より)。毎日 続きを読む…
Digdag運用している方にとって大変なのが、度々起こるシンクでの Fail (以下画像より)。毎日 続きを読む…
digdagわかりません — adachin👾SRE (@adachin0817) Au 続きを読む…
みなさま。分析基盤の運用は大変ですよね(他人事) 今回アクセスログをtdでS3に保存してdigdag 続きを読む…
今回S3にある、圧縮された配列でできているJSONファイルをembulkでBigQueryにシンクし 続きを読む…
シェル芸マスターには程遠いですが… digdagの設定ファイルを自動化する時(以下ブログ 続きを読む…
前回は抽出のみだったので、今回はBigQueyにぶち込めるのか試してみました! しかもSalesfo 続きを読む…
Digdagを運用していると以下のようにエラーが複数出た。 何回も手動でdigdag runしてもエ 続きを読む…
[BigQuery][Digdag][SQL][embulk-filter-colum 続きを読む…
今までDIgdagでエラー通知をchatworkで行っていたのですが、slackでイケてる通知できな 続きを読む…
月次で、あるDBをBigQueryに転送したい場合、 実行した年と月をカラムに出力しないといつ実行さ 続きを読む…
RDSにあるデータをembulkを使ってBigQueryに飛ばすようにテストを繰り返していました&# 続きを読む…