Pocket

前回はnginxのアクセスログをredashに連携しましたが、
今回は/var/log/secureを試してみました。
sshのアクセスログですよ。
ここで誰がログインしようとしているのかバレバレです。8080。
きっと可視化すると面白いだろうなと!!!
ちなみにfluentdの仕様でログにあるtimeが出力されず後輩とハマりましたw

[redash][fluentd]nginxのアクセスログをS3とRedshiftに投げてre:dashと連携してみた


■syslog Input Plugin

https://docs.fluentd.org/v0.12/articles/parser_syslog

 

今回redshiftにぶち込むため、テーブルのカラムはrfc3164 patternを参考にします。(preは必要なし)
timeはfluentdが内部的に使っているフィールド名と同じなためkeep_time_key trueを入れないとログに吐かれません。(これを見過ごしてた)

 

・redshiftにあらかじめテーブルを作成する

・td-agent.conf

・確認

よしs3からredshiftにコピーされた。

※カラムが不一致な場合

こんなエラーが出るはず。。

・redashダッシュボードにて

キタ━━━━(゚∀゚)━━━━!!

あとはselectしまくりだぜえええ!!

ちなみにどのIP & ユーザでアタック来ているのかベスト10!
ubntとはw

・SQL文はこんな感じ


■まとめ

fluentd学習コスト高い。。。
しかしハマると何故か次の日に解決するので
ハマったら次の日にやろうw

redshift用のSQLコマンド(関数)リファレンスがamazon公式にあるので、
PostgreのSQLと間違えないようにw
http://docs.aws.amazon.com/ja_jp/redshift/latest/dg/c_SQL_commands.html
http://docs.aws.amazon.com/ja_jp/redshift/latest/dg/c_SQL_functions.html

参考
https://docs.fluentd.org/v0.12/articles/life-of-a-fluentd-event#event-structure
https://blog.lorentzca.me/send-secure-log-to-bigquery/
https://blog.vtryo.me/infra-engneering/redash-securelog-visualize

Pocket


adachin

1989年生まれのFindy/SRE。ホスティングから大規模なアドテクなどのインフラエンジニアとして携わる。現在はサービスの信頼性向上、DevOps、可用性、レイテンシ、パフォーマンス、モニタリング、オブザーバビリティ、緊急対応、AWSでのインフラ構築、Docker開発環境の提供、IaC、新技術の検証、リファクタリング、セキュリティ強化、分析基盤の運用などを担当している。個人事業主では数社サーバー保守とベンチャー企業のSREインフラコンサルティングやMENTA/TechBullで未経験者にインフラのコーチング/コミュニティマネージャーとして立ち上げと運営をしている。また、過去「脆弱性スキャナVuls」のOSS活動もしており、自称エバンジェリスト/技術広報/テクニカルサポート/コントリビュータでもある。

0件のコメント

コメントを残す

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください