LINEで送る
Pocket

今回S3にある、圧縮された配列でできているJSONファイルembulkBigQueryにシンクしてみました。配列という稀なケースでしたが、プラグインの公式をちゃんと嫁ばできる!


■test.json


■hiroyuki-sato/embulk-parser-jsonpath

https://github.com/hiroyuki-sato/embulk-parser-jsonpath

type: jsonpath にするだけでOK
※ちなみにembulk-input-s3プラグインはインストールされている前提です。

https://github.com/embulk/embulk-input-s3

  • プラグインインストール

  • 反映


■embulk/digdag

  • test.yml.liquid

  • embulk/db/_pre_bigquery.yml.liquid

  • test.json

  • test.dig

  • 実行

今回outの部分をtype: stdoutにして標準出力できるか確認してみましたが、ちゃんと出力されてますね。

  • BigQuery


■まとめ

しかしこのプラグイン配列だろうがなんだろうが、様々な形式に対応しているので万能ですな。

そしてこのプラグインを作った@hiroysatoさんからリプ!

LINEで送る
Pocket


adachin

1989年生まれのSRE。 ホスティングから大規模なアドテクなどのインフラエンジニアとして携わり、AnsibleやTerraformでのインフラコード化を推進。未経験によるエンジニアのメンターなども実施している。また、「脆弱性スキャナVuls」のOSS活動もしており、自称エバンジェリスト/技術広報/テクニカルサポート/コントリビュータでもある。現在はサービスの信頼性向上、可用性、レイテンシ、パフォーマンス、モニタリング、緊急対応、インフラコード化、リファクタリング、セキュリティ強化、新技術の検証、Docker開発環境の提供、AWSでのインフラ構築、Wordpressによるコーポレートサイトの修正、メンター、分析基盤の運用を担当している。

0件のコメント

コメントを残す

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください