Pocket

v1.0.0系からAthenaサポートしていたのですが、
なぜかRedashとは別にproxyが必要だったのでv2.0.0から正式にサポートしました。
前回はRedshiftに連携してみましたがバチクソ高いので、
みなさんもBigQueryかAthenaにしましょうw

[redash][fluentd]/var/log/secureのログをS3とRedshiftに投げてre:dashと連携してみた


■Amazon Athena Setup – Redash Help Center

https://redash.io/help/data-sources/amazon-athena.html

まずは公式を嫁ということで参考にしてみました。
Tokyoリージョンでも問題なく使用できます。


■Redash x Athena

・Create IAM User

まずはIAMでredashユーザを作成してポリシーは上記の2つを選択しましょう。
クレデンシャルももちろんメモ。
(AWSQuicksightAthenaAccess/AmazonS3FullAccess)
公式では特定のバケットをS3でRead only用にポリシーを新たに作成していますが
FullAccessでもOKかとw

・Create Athena Data Source

基本的にAthenaで作ったDBやテーブルなどはS3に格納されるので、
Athenaコンソール画面のSettingsからQuery result locationに適当なS3のパスを入れます。

設定が完了したらRedashのDATA SOURCEに上記をぶち込んでいきます。
KMS KeyやEncryption Optionは空でOK。


■確認

とりあえず適当にDB作ってテーブルやらカラム名やら作って認識したのでOK!!


■まとめ

ハマったのがいろいろポリシーの設定いじりまくると
DBやテーブルが見えなくなるので
一旦DATA SOURCEを設定し直すと読み込みできるようになります。
次回は実際にfluentd使ってアクセスログなど可視化してみます〜

※ちなみにDATA SOURCEにAthena出てこない人は以下を参考に

[Redash][Upgrade][v2.0.0]アップグレードするのに手間がかかった件

 

Pocket

カテゴリー: AWSRedash

adachin

1989年生まれのSRE。ホスティングから大規模なアドテクなどのインフラエンジニアとして携わる。現在はサービスの信頼性向上、DevOps、可用性、レイテンシ、パフォーマンス、モニタリング、オブザーバビリティ、緊急対応、AWS/Azureでのインフラ構築、Docker開発環境の提供、Kubernetes保守、インフラコード化、新技術の検証、リファクタリング、セキュリティ強化などを担当している。個人事業主では数社サーバー保守とベンチャー企業のSREインフラコンサルティングやMENTAで未経験者にインフラのコーチング/コミュニティの運用を実施している。また、「脆弱性スキャナVuls」のOSS活動もしており、自称エバンジェリスト/技術広報/テクニカルサポート/コントリビュータでもある。

0件のコメント

コメントを残す

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください