前回はnginxのアクセスログをredashに連携しましたが、
今回は/var/log/secureを試してみました。
sshのアクセスログですよ。
ここで誰がログインしようとしているのかバレバレです。8080。
きっと可視化すると面白いだろうなと!!!
ちなみにfluentdの仕様でログにあるtimeが出力されず後輩とハマりましたw

[redash][fluentd]nginxのアクセスログをS3とRedshiftに投げてre:dashと連携してみた


■syslog Input Plugin

https://docs.fluentd.org/v0.12/articles/parser_syslog

 

今回redshiftにぶち込むため、テーブルのカラムはrfc3164 patternを参考にします。(preは必要なし)
timeはfluentdが内部的に使っているフィールド名と同じなためkeep_time_key trueを入れないとログに吐かれません。(これを見過ごしてた)

 

・redshiftにあらかじめテーブルを作成する

・td-agent.conf

・確認

よしs3からredshiftにコピーされた。

※カラムが不一致な場合

こんなエラーが出るはず。。

・redashダッシュボードにて

キタ━━━━(゚∀゚)━━━━!!

あとはselectしまくりだぜえええ!!

ちなみにどのIP & ユーザでアタック来ているのかベスト10!
ubntとはw

・SQL文はこんな感じ


■まとめ

fluentd学習コスト高い。。。
しかしハマると何故か次の日に解決するので
ハマったら次の日にやろうw

redshift用のSQLコマンド(関数)リファレンスがamazon公式にあるので、
PostgreのSQLと間違えないようにw
http://docs.aws.amazon.com/ja_jp/redshift/latest/dg/c_SQL_commands.html
http://docs.aws.amazon.com/ja_jp/redshift/latest/dg/c_SQL_functions.html

参考
https://docs.fluentd.org/v0.12/articles/life-of-a-fluentd-event#event-structure
https://blog.lorentzca.me/send-secure-log-to-bigquery/
https://blog.vtryo.me/infra-engneering/redash-securelog-visualize

The following two tabs change content below.

あだちん

1989年生まれ。 Infra Engineer(SRE) In Shibuya 2013年新卒に自宅サーバを構築し、この技術ブログを立ち上げたが、 2017年に電源が壊れConoHaにリプレイスした。 好きな構成管理ツールはAnsible,Terraform。 インフラならAWS/Docker。言語はPython。 WEBサーバならH2O。そして「脆弱性スキャナVuls」のOSS活動もしており、VulsRepo init fileのコミッターでもある。VulsのためにGolangと格闘中でエバンジェリストに任命!?HIPHOPが好きすぎてTrack Makerでもある。

コメントを残す