LINEで送る
Pocket

前回は抽出のみだったので、今回はBigQueyにぶち込めるのか試してみました!
しかもSalesforceにあるカラムが鬼のようにあるのでシェル芸もかましてやりました。

[embulk]Salesforceのデータを抽出できるかやってみた


■create-salesforce-config.sh

https://github.com/RVIRUS0817/shellscripts/blob/master/digdag_script/create-salesforce-config.sh

  • 実行方法

csvからJSONファイルを作成し、embulkファイルやらdigdagファイルを自動生成するように作ってみました。💪

  • test.yml.liquid

  • test.json

  • test.dig

  • embulkのエラーでハマったところ

objectTypeは基本salesforceの参照するテーブル名なので気をつけましょう!!!
笑えないくらいハマったw このプラグイン作成者の@mikoto2000さんあざます!
outの設定は事前にstdoutをしてsalesforce側かBigQuery側のエラーなのか判断が楽になります。


■BigQuery

✌️


■まとめ

理解するとそんなツラくなかったというお話👀

LINEで送る
Pocket


あだちん

1989年生まれ。 ランサーズ/SRE。 ホスティングから大規模なアドテクなどのインフラエンジニアとして携わり、他社インフラレスポンス改善、ランサーズでの副業、ansibleでのインフラコード化を推進し、未経験によるエンジニアのMENTAなども実施している。また、「脆弱性スキャナVuls」のOSS活動もしており、自称エバンジェリスト/広報/VulsRepo init file,chatwork通知のコントリビュータでもある。現在はDocker開発環境の提供、AWSで新サービスのインフラ構築、PHPバージョンアップ、新卒採用、採用広報、分析基盤を担当しておりDigdag,embulk,BigQueryを使いこなし中。

コメントを残す

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください