前回は抽出のみだったので、今回はBigQueyにぶち込めるのか試してみました!
しかもSalesforceにあるカラムが鬼のようにあるのでシェル芸もかましてやりました。

[embulk]Salesforceのデータを抽出できるかやってみた


■create-salesforce-config.sh

https://github.com/RVIRUS0817/shellscripts/blob/master/digdag_script/create-salesforce-config.sh

  • 実行方法

csvからJSONファイルを作成し、embulkファイルやらdigdagファイルを自動生成するように作ってみました。

  • test.yml.liquid

  • test.json

  • test.dig

  • embulkのエラーでハマったところ

objectTypeは基本salesforceの参照するテーブル名なので気をつけましょう!!!
笑えないくらいハマったw このプラグイン作成者の@mikoto2000さんあざます!
outの設定は事前にstdoutをしてsalesforce側かBigQuery側のエラーなのか判断が楽になります。


■BigQuery

✌️


■まとめ

理解するとそんなツラくなかったというお話。


adachin

1989年生まれのFindy/SRE。ホスティングから大規模なアドテクなどのインフラエンジニアとして携わる。現在はサービスの信頼性向上、DevOps、可用性、レイテンシ、パフォーマンス、モニタリング、オブザーバビリティ、緊急対応、AWSでのインフラ構築、Docker開発環境の提供、IaC、新技術の検証、リファクタリング、セキュリティ強化、分析基盤の運用などを担当している。個人事業主では数社サーバー保守とベンチャー企業のインフラコンサルティングを行うほか、TechBullで未経験者にSREのコーチング、コミュニティ運営、Members 会員管理システムの開発をリードしている。過去には脆弱性スキャナVulsのOSS活動にも貢献。

0件のコメント

コメントを残す

This site uses Akismet to reduce spam. Learn how your comment data is processed.