Pocket

CloudWatch Logsを定期的にs3へエクスポートするにはLambdaで可能です。
今回はRDSgeneral-log,slowquery-logを対象にPython2.7で作ってみました。


■RVIRUS0817/lambda_cloudwatchlogs-s3

https://github.com/RVIRUS0817/lambda_cloudwatchlogs-s3

■RDS

・ログのエキスポート

  • 監査ログ
  • エラーログ
  • 全般ログ
  • スロークエリログ

・パラメータグループ

  • slow_query_log →1 
  • general_log→1
  • long_query_time→5 
  • log_output→FILE 

■AWS/roles

  • cloudwatchlogs Full Access

■S3 Policy


■Lambda

  • Python2.7

タイムアウト:1:30

  • lambda_function-general.py 

  • lambda_function-slowquery.py

  • 日次単位でエクスポートしたいので、前日の 00:00:00 〜 23:59:59 までを指定
  • 実行された前日 0 時のタイムスタンプを取得し、86399 秒間 (00:00:00 〜 23:59:59) のログを対象
  • Python で計算したタイムスタンプを 1000 倍
  • S3のprefixは年/月/日

■CloudwatchLogs > event

Enjoy!!


■まとめ

早く公式で対応するよう待ってます!!

参考:https://blog.manabusakai.com/2016/08/cloudwatch-logs-to-s3/

Pocket

カテゴリー: AWSLambdaPython

adachin

1989年生まれのFindy/SRE。ホスティングから大規模なアドテクなどのインフラエンジニアとして携わる。現在はサービスの信頼性向上、DevOps、可用性、レイテンシ、パフォーマンス、モニタリング、オブザーバビリティ、緊急対応、AWSでのインフラ構築、Docker開発環境の提供、IaC、新技術の検証、リファクタリング、セキュリティ強化、分析基盤の運用などを担当している。個人事業主では数社サーバー保守とベンチャー企業のSREインフラコンサルティングやMENTA/TechBullで未経験者にインフラのコーチング/コミュニティマネージャーとして立ち上げと運営をしている。また、過去「脆弱性スキャナVuls」のOSS活動もしており、自称エバンジェリスト/技術広報/テクニカルサポート/コントリビュータでもある。

0件のコメント

コメントを残す

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください