nginxのアクセスログをFluentd経由でelasticsearchとBigQueryに送り始めた
masutaka.netのnginxアクセスログはmongodbとGrowthForecastに送ってます。 [2013-07-14-1] nginxのアクセスログをFluentd経由でMongoDBに保存してみた [2013-08-15-1] nginxのアクセスログをFluentd経由でGrowthForecastのグラフにしてみた 今回、elasticsearchとBigQueryにも送り始めました。個人での必要性は 全くなく、単にelasticsearchとBigQueryを知っておきたかったからです。 elasticsearch http://kibana.masutaka.net/ からkibana 経由で検索出来るようにしてい ます(要Basic認証)。kibanaは評判が良かったので期待してたんですが、 使いづらいです。学習が必要そうです。。 インストールの概要 elasticsearchはopenjdk-7-jdkのインストールと、公式のインストール方 法 をそのままChefのレシピにしました。 kibanaは/var/www以下に公式のtar ball を展開して、nginxの静的コンテ ンツの設定を追加しました。 ハマりどころ 特になく、jdk, elasticsearch, kibana, nginxのレシピを良い感じに組 み立てるのに時間を使いました。 Google BigQuery SQLなのでelasticsearchより取っ付きやすいのが良いです。 あ、Row=4はアカンやつや インストールの概要 fluent-plugin-bigqueryのREADME.md を読みつつ、以下の記事そのままで できました。ありがとうございます。 FluentdでGoogle BigQueryにログを挿入してクエリを実行する - Qiita projectはウェブ上から作り、dataset(db)とtableはGoogle Cloud SDK付 属のbqコマンドで作りました。google-cloud-sdkはbrew caskでインストー ルできます。 $ bq mk masutakanet:nginx $ bq mk -t masutakanet:nginx.access bigquery-nginx.json td-agent.confはこのようになりました。 <match nginx.access.masutaka.net> type copy <store> type mongo (省略) </store> <store> type elasticsearch (省略) </store> <store> type growthforecast (省略) </store> <store> type bigquery method insert auth_method private_key email XXXXXXXX@developer....