LINEで送る
Pocket

Digdag運用している方にとって大変なのが、度々起こるシンクでの Fail (以下画像より)。毎日Webからポチッと Retryボタン を押して、またFailが来る…エラー見てもjavaのエラーなのでまったくわからず..

ちなみに以下のように _retry を入れても再Retryして失敗しまくりです。原因としてはBigQueryにシンクしまくると怒られるので、要は間隔があればOK!

今回Digdag v0.9.28から Retry Interval 機能が追加されて、インターバルが指定できるようになってからRetry時の実行時間の感覚を指定できるようになりました。チームでバージョンアップだ!ということでやってみたところ、うまくいったのでブログします!


■Retrying failed tasks automatically

https://docs.digdag.io/workflow_definition.html#retrying-failed-tasks-automatically


■Digdag version up


■Digdag setting file

  • retry.dig

  • run.dig


■後日

FailしてもRetryされていました!!!


■まとめ

とりあえず手動で実行することがなくなりました。digdagのバージョンアップについては追わないと新機能がわからん!ということでRSS入れよう。

LINEで送る
Pocket

カテゴリー: digdag

adachin

1989年生まれのランサーズ/SRE。 ホスティングから大規模なアドテクなどのインフラエンジニアとして携わり、AnsibleやTerraformでのインフラコード化を推進。未経験によるエンジニアのメンターなども実施している。また、「脆弱性スキャナVuls」のOSS活動もしており、自称エバンジェリスト/技術広報/テクニカルサポート/コントリビュータでもある。現在はDocker開発環境の提供、AWSでのインフラ構築、分析基盤の運用を担当している。

0件のコメント

コメントを残す

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください