前回はnginxのアクセスログをredashに連携しましたが、
今回は/var/log/secureを試してみました。
sshのアクセスログですよ。
ここで誰がログインしようとしているのかバレバレです。8080。
きっと可視化すると面白いだろうなと!!!
ちなみにfluentdの仕様でログにあるtimeが出力されず後輩とハマりましたw

https://blog.adachin.me/wordpress/archives/5745


■syslog Input Plugin

https://docs.fluentd.org/v0.12/articles/parser_syslog

 

今回redshiftにぶち込むため、テーブルのカラムはrfc3164 patternを参考にします。(preは必要なし)
timeはfluentdが内部的に使っているフィールド名と同じなためkeep_time_key trueを入れないとログに吐かれません。(これを見過ごしてた)

 

・redshiftにあらかじめテーブルを作成する

・td-agent.conf

・確認

よしs3からredshiftにコピーされた。

※カラムが不一致な場合

こんなエラーが出るはず。。

・redashダッシュボードにて

キタ━━━━(゚∀゚)━━━━!!

あとはselectしまくりだぜえええ!!

ちなみにどのIP & ユーザでアタック来ているのかベスト10!
ubntとはw

・SQL文はこんな感じ


■まとめ

fluentd学習コスト高い。。。
しかしハマると何故か次の日に解決するので
ハマったら次の日にやろうw

redshift用のSQLコマンド(関数)リファレンスがamazon公式にあるので、
PostgreのSQLと間違えないようにw
http://docs.aws.amazon.com/ja_jp/redshift/latest/dg/c_SQL_commands.html
http://docs.aws.amazon.com/ja_jp/redshift/latest/dg/c_SQL_functions.html

参考
https://docs.fluentd.org/v0.12/articles/life-of-a-fluentd-event#event-structure
https://blog.lorentzca.me/send-secure-log-to-bigquery/
https://blog.vtryo.me/infra-engneering/redash-securelog-visualize


あだちん

1989年生まれ。 ランサーズ/SRE。 ホスティングから大規模なアドテクなどのインフラエンジニアとして携わり、他社インフラレスポンス改善、ランサーズでの副業、ansibleでのインフラコード化を推進し、未経験によるエンジニア勉強会なども実施している。また、「脆弱性スキャナVuls」のOSS活動もしており、自称エバンジェリスト/広報/VulsRepo init file,chatwork通知のコントリビュータでもある。現在はDocker開発環境の提供,AWSで新サービスのインフラ構築,PHPバージョンアップ,分析基盤を担当しておりDigdag,embulk,BigQueryを使いこなそうと奮闘中である。

コメントを残す

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください