LINEで送る
Pocket

今回S3にある、圧縮された配列でできているJSONファイルembulkBigQueryにシンクしてみました。配列という稀なケースでしたが、プラグインの公式をちゃんと嫁ばできる!💪


■test.json


■hiroyuki-sato/embulk-parser-jsonpath

https://github.com/hiroyuki-sato/embulk-parser-jsonpath

type: jsonpath にするだけでOK👍
※ちなみにembulk-input-s3プラグインはインストールされている前提です。

https://github.com/embulk/embulk-input-s3

  • プラグインインストール

  • 反映


■embulk/digdag

  • test.yml.liquid

  • embulk/db/_pre_bigquery.yml.liquid

  • test.json

  • test.dig

  • 実行

今回outの部分をtype: stdoutにして標準出力できるか確認してみましたが、ちゃんと出力されてますね👀

  • BigQuery

👍


■まとめ

しかしこのプラグイン配列だろうがなんだろうが、様々な形式に対応しているので万能ですな😆

そしてこのプラグインを作った@hiroysatoさんからリプ!

LINEで送る
Pocket


あだちん

1989年生まれ。 ランサーズ/SRE。 ホスティングから大規模なアドテクなどのインフラエンジニアとして携わり、他社インフラレスポンス改善などの副業、ansibleでのインフラコード化を推進し、未経験によるエンジニアのメンターなども実施している。また、「脆弱性スキャナVuls」のOSS活動もしており、自称エバンジェリスト/広報/VulsRepo init file,chatwork通知のコントリビュータでもある。現在はDocker開発環境の提供、AWSで新サービスのインフラ構築、PHPバージョンアップ、新卒採用、採用広報、分析基盤を担当している。

コメントを残す

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください