masutaka.netのnginxアクセスログはmongodbとGrowthForecastに送ってます。
[2013-07-14-1] nginxのアクセスログをFluentd経由でMongoDBに保存してみた [2013-08-15-1] nginxのアクセスログをFluentd経由でGrowthForecastのグラフにしてみた 今回、elasticsearchとBigQueryにも送り始めました。個人での必要性は
全くなく、単にelasticsearchとBigQueryを知っておきたかったからです。
elasticsearch http://kibana.masutaka.net/ からkibana 経由で検索出来るようにしてい
ます(要Basic認証)。kibanaは評判が良かったので期待してたんですが、
使いづらいです。学習が必要そうです。。
インストールの概要 elasticsearchはopenjdk-7-jdkのインストールと、公式のインストール方
法 をそのままChefのレシピにしました。
kibanaは/var/www以下に公式のtar ball を展開して、nginxの静的コンテ
ンツの設定を追加しました。
ハマりどころ 特になく、jdk, elasticsearch, kibana, nginxのレシピを良い感じに組
み立てるのに時間を使いました。
Google BigQuery SQLなのでelasticsearchより取っ付きやすいのが良いです。
あ、Row=4はアカンやつや
インストールの概要 fluent-plugin-bigqueryのREADME.md を読みつつ、以下の記事そのままで
できました。ありがとうございます。
FluentdでGoogle BigQueryにログを挿入してクエリを実行する - Qiita projectはウェブ上から作り、dataset(db)とtableはGoogle Cloud SDK付
属のbqコマンドで作りました。google-cloud-sdkはbrew caskでインストー
ルできます。
$ bq mk masutakanet:nginx
$ bq mk -t masutakanet:nginx.access bigquery-nginx.json
td-agent.confはこのようになりました。
<match nginx.access.masutaka.net> type copy <store> type mongo (省略) </store> <store> type elasticsearch (省略) </store> <store> type growthforecast (省略) </store> <store> type bigquery method insert auth_method private_key email XXXXXXXX@developer....