Pocket

今回S3にある、圧縮された配列でできているJSONファイルembulkBigQueryにシンクしてみました。配列という稀なケースでしたが、プラグインの公式をちゃんと嫁ばできる!


■test.json


■hiroyuki-sato/embulk-parser-jsonpath

https://github.com/hiroyuki-sato/embulk-parser-jsonpath

type: jsonpath にするだけでOK
※ちなみにembulk-input-s3プラグインはインストールされている前提です。

https://github.com/embulk/embulk-input-s3

  • プラグインインストール

  • 反映


■embulk/digdag

  • test.yml.liquid

  • embulk/db/_pre_bigquery.yml.liquid

  • test.json

  • test.dig

  • 実行

今回outの部分をtype: stdoutにして標準出力できるか確認してみましたが、ちゃんと出力されてますね。

  • BigQuery


■まとめ

しかしこのプラグイン配列だろうがなんだろうが、様々な形式に対応しているので万能ですな。

そしてこのプラグインを作った@hiroysatoさんからリプ!

Pocket


adachin

1989年生まれのSRE。ホスティングから大規模なアドテクなどのインフラエンジニアとして携わる。現在はサービスの信頼性向上、DevOps、可用性、レイテンシ、パフォーマンス、モニタリング、オブザーバビリティ、緊急対応、AWS/Azureでのインフラ構築、Docker開発環境の提供、Kubernetes保守、インフラコード化、新技術の検証、リファクタリング、セキュリティ強化などを担当している。個人事業主では数社サーバー保守とベンチャー企業のSREインフラコンサルティングやMENTAで未経験者にインフラのコーチング/コミュニティの運用を実施している。また、「脆弱性スキャナVuls」のOSS活動もしており、自称エバンジェリスト/技術広報/テクニカルサポート/コントリビュータでもある。

0件のコメント

コメントを残す

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください