MongoDB

Fluentdを使ってみたかったので、masutaka.netのnginxアクセスログを Fluentd経由でMongoDBに保存してみました。 Fluentdについては以下が分かりやすいです。 Fluentdで始めるリアルタイムでのログ有効活用 - CodeZine 今回も@hirocaster さんの記事をほぼトレース。 なぜFluentdなどを使ってログデータ活用するのか？｜Act as Professional - hiroki.jp fluentdをインストールしてnginxのログをまずはローカルで集める｜Act as Professional - hiroki.jp fluentd経由のデータをmongodbへ保存する｜Act as Professional - hiroki.jp 実際に運用しているサービスのnginxログをLTSVにしてみた！｜Act as Professional - hiroki.jp 実際、やっていることは単純で、 nginxがアクセスログをファイルに書き出す。 それを検知したFluentd(実際はtd-agentを利用)がMongoDBに記録する。 ってだけです。 最後の記事を参考に、nginxのログ形式はデフォルト(Combined形式と呼ぶ らしい)からLTSV 形式に変更してます。最近のtd-agentはLTSVをサポートし ているのでシンプルに書けました。あと、td-agentのログでWarningが出て いたので、pos_fileも追加しました。 fluent-plugin-mongoをインストールするChefのレシピと、nginxの設定も コピペしておきますね。 始め、nginxとtd-agentの通信はパイプかなにかを介するのかと思い、難し く考えていましたが、実際は単なるファイルでした。ポーリングしている みたいです。 もうひとつ誤解してたのが、 td-agentを使う ＝ Hadoopを使わなければならない だと思い込んでいたことでした。やたら難しく考えていた。 やってみたら予想以上に単純でした。むしろChefのレシピを作るのに、 多大な時間を使ってしまった。。 次はGrowthForecast を試してみます。 追記(2013-07-15): 今のtd-agentはLTSVをサポートしているFluentdを同封していると指摘を受 けましたので、記事を書き換えました。repeatedlyさん、ありがとうござ いました。 追記(2013-08-15): Chefのレシピやnginxの設定も追加しました。