Pocket

[AWS][Terraform]CloudWatch LogsをAmazon KinesisでS3にエクスポートする

前回CloudWatch Logsを定期的にKinesis Data Firehose経由でS3に保存するようにTerraform化を行いましたが、日々の可観測性を高めるためにECSのNginxのアクセスログ、アプリケーションログ、RDSのスロークエリログなどを日々モニタリングできればさらに分析可能とのことで、去年6月頃にDatadogへ簡単に転送できるようになったとのことなので試してみました。


Analyze logs with Datadog using Amazon Kinesis Data Firehose HTTP endpoint delivery

https://aws.amazon.com/jp/blogs/big-data/analyze-logs-with-datadog-using-amazon-kinesis-data-firehose-http-endpoint-delivery/

https://docs.datadoghq.com/ja/logs/

  • 今回の構成

Amazon Kinesis Data Firehosから特定の外部サービスをサポートしたため、Datadog Logsへデータを転送できるようになりました。これによって今まではLambdaを書くことが必須でしたが、工数もかかることなく実装できるので早速Terraformやっていきましょう。


Terraform

  • files/assume_role_policy/kinesis-datadog-policy.json

  • files/assume_role_policy/kinesis-datadog.json

  • files/assume_role_policy/kinesis_basic_role_policy.json

  • iam.tf

  • kinesis.tf

  • variables.tf

kinesis自体の信頼関係ポリシーは必ず logs.ap-northeast-1.amazonaws.com とリージョンを指定しないと以下のエラーが出てしまうため気をつけましょう。

Could not deliver test message to specified Firehose stream. Check if the given Firehose stream is in ACTIVE state.

FirehoseでのS3 backupですが、Datafogへ配信しようとするすべてのデータまたはエラーデータをバックアップすることができます。今回はエラーのみを指定しました。次にFirehoseの設定ですが、TerraformではHTTP Endpoint (e.g. New Relic) Destinationを利用してDatadogのAPIから取得するように設定しています。APIキーはignore_changesしていますが、AWS KMSを利用したほうがより安全です。Datadogへの反映バッファ時間は60秒に反映するよう指定しています。(ほとんどデフォルト)


確認

Nginxとアプリケーションログは同じCloudWatch Logs名で出力してしまっているので一緒ですが、フィルタリングすれば問題ありません。またDatadog LogsからNginxのステータスコードやアプリログのErrorからアラート設定すればSlack通知もできるので非常に捗りそうです!プラスヘルスチェックのアクセスログはオフらないとな…


まとめ

今までAWSのコンソールにログインして確認という手間がなくなったので、非常に重宝しそうだなと率直に感じました。コストですが、Proプランであれば1MBで$1なのと、7日間しかログが残らないので安いかと思います。が、大量のNginxのアクセスログなど連携してしまうと月$1000くらいかかるので注意しましょう。ログの分析方法としては他にもやり方はたくさんありますが、ぜひ参考にしてみてください!

https://dev.classmethod.jp/articles/firehose-datadog-logs/

Pocket

カテゴリー: AWSDatadog

adachin

1989年生まれのSRE。ホスティングから大規模なアドテクなどのインフラエンジニアとして携わる。現在はサービスの信頼性向上、DevOps、可用性、レイテンシ、パフォーマンス、モニタリング、オブザーバビリティ、緊急対応、AWS/Azureでのインフラ構築、Docker開発環境の提供、Kubernetes保守、インフラコード化、新技術の検証、リファクタリング、セキュリティ強化などを担当している。個人事業主では数社サーバー保守とベンチャー企業のSREインフラコンサルティングやMENTAで未経験者にインフラのコーチング/コミュニティの運用を実施している。また、「脆弱性スキャナVuls」のOSS活動もしており、自称エバンジェリスト/技術広報/テクニカルサポート/コントリビュータでもある。

0件のコメント

コメントを残す

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください