マスタカの ChangeLog メモ / MongoDB

2013-07-14 (日)

■ nginxのアクセスログをFluentd経由でMongoDBに保存してみた [nginx][Fluentd][MongoDB]

Fluentdを使ってみたかったので、masutaka.netのnginxアクセスログを
Fluentd経由でMongoDBに保存してみました。

Fluentdについては以下が分かりやすいです。
Fluentdで始めるリアルタイムでのログ有効活用 - CodeZine

今回も@hirocasterさんの記事をほぼトレース。

- なぜFluentdなどを使ってログデータ活用するのか？｜Act as Professional - hiroki.jp
- fluentdをインストールしてnginxのログをまずはローカルで集める｜Act as Professional - hiroki.jp
- fluentd経由のデータをmongodbへ保存する｜Act as Professional - hiroki.jp
- 実際に運用しているサービスのnginxログをLTSVにしてみた！｜Act as Professional - hiroki.jp

実際、やっていることは単純で、
1. nginxがアクセスログをファイルに書き出す。
2. それを検知したFluentd(実際はtd-agentを利用)がMongoDBに記録する。
ってだけです。

《続きを読む》

この記事に言及しているこのブログ内の記事

[ 固定リンク ] [ 当日のツイート ]

最終更新時間: 2019-12-03 22:20 JST

最近の話題
- 2019-11-17 3ヶ月間、総務省の家計調査に協力していた - 2019-10-28 『Clean Architecture』を読んだ - 2019-10-10 terraform-provider-healthchecksio を Terraform Plugin SDK に移行した - 2019-09-20 本番環境で heroku run する時の tips - 2019-08-16 『改訂2版みんなのGo言語』を読んだ - 2019-08-13 『カード決済業務のすべて』を読んだ『実行力結果を出す「仕組み」の作りかた』を読んだ - 2019-08-05 Heroku Logging Add-on Papertrail と LogDNA の比較

最近の話題

- 2019-11-17
  3ヶ月間、総務省の家計調査に協力していた
- 2019-10-28
  『Clean Architecture』を読んだ
- 2019-10-10
  terraform-provider-healthchecksio を Terraform Plugin SDK に移行した
- 2019-09-20
  本番環境で heroku run する時の tips
- 2019-08-16
  『改訂2版みんなのGo言語』を読んだ
- 2019-08-13
  『カード決済業務のすべて』を読んだ
  『実行力結果を出す「仕組み」の作りかた』を読んだ
- 2019-08-05
  Heroku Logging Add-on Papertrail と LogDNA の比較

最近追記された記事
- 2019-02-11-1 (71日前) - 2019-02-03-1 (71日前) - 2019-01-28-1 (71日前) - 2019-02-03-1 (113日前) - 2018-11-28-1 (127日前) - 2019-05-07-1 (207日前) - 2018-04-30-1 (222日前) - 2018-01-28-1 (234日前) - 2019-02-11-1 (294日前) - 2019-01-20-1 (312日前)

カテゴリ
- Anthy (3) - Apache (11) - Apple (1) - ATOK (4) - au (3) - AWS (23) - Bazaar (1) - Berkshelf (2) - BigQuery (1) - BitBar (4) - Book (107) - Boxen (2) - Bugsnag (1) - capistrano (4) - chalow (57) - ChatWork (1) - Chef (17) - Chrome (3) - Chromecast (1) - CircleCI (10) - clang (26) - Comics (2) - Cooking (10) - cvs (15) - cygwin (12) - D3.js (1) - Debian (55) - Docker (4) - E-mail (9) - elasticsearch (4) - Emacs (223) - Emacs講座 (10) - English (4) - feedforce (7) - fetchmail (3) - Firefox (20) - Fluentd (4) - ftp (2) - Game (21) - GCP (1) - Gem (5) - Git (9) - GitHub (23) - golang (11) - Google (1) - gpg (4) - GrowthForecast (7) - Health (6) - Heroku (20) - Homebrew (10) - HTML (6) - iBook (1) - iPad (1) - iPhone (17) - IRC (1) - Jenkins (8) - JS (1) - Karabiner (1) - KeySnail (3) - Kibana (1) - Kindle (1) - Kubernetes (2) - Langrich (7) - LDAP (6) - Life (24) - Linux (7) - Mackerel (1) - macOS (1) - Mew (18) - MongoDB (1) - Mozilla (19) - Music (1) - MySQL (1) - NAS (4) - nginx (6) - NHK (1) - Node (1) - ntp (4) - OOP (2) - OpenID (2) - openssl (1) - Opera (2) - OSX (41) - Perl (14) - PHP (19) - PostgreSQL (1) - procmail (4) - Programing (3) - Puppet (1) - Python (2) - Rails (13) - Rake (2) - RaspberryPi (2) - Redash (1) - RedHat (29) - Redmine (3) - RSpec (2) - Ruby (52) - samba (3) - screen (7) - sed (5) - serverspec (6) - sh (8) - Slack (2) - Solaris9 (22) - Spring (2) - ssh (4) - StatusNet (21) - svn (12) - Swift (1) - Tablet (1) - tdiary (3) - Terraform (2) - Twitter (15) - Twmode (6) - Ubuntu (5) - UNIX (102) - vagrant (8) - Video (21) - vim (1) - Wercker (9) - Windows (29) - Wine (3) - XML (11) - XP (1) - zsh (26) - インストールメモ (33) - クイックシェイプ (12) - ネタ (15) - 勉強会 (17) - 携帯 (6) - 正規表現 (4)

カテゴリ

- Anthy (3)
- Apache (11)
- Apple (1)
- ATOK (4)
- au (3)
- AWS (23)
- Bazaar (1)
- Berkshelf (2)
- BigQuery (1)
- BitBar (4)
- Book (107)
- Boxen (2)
- Bugsnag (1)
- capistrano (4)
- chalow (57)
- ChatWork (1)
- Chef (17)
- Chrome (3)
- Chromecast (1)
- CircleCI (10)
- clang (26)
- Comics (2)
- Cooking (10)
- cvs (15)
- cygwin (12)
- D3.js (1)
- Debian (55)
- Docker (4)
- E-mail (9)
- elasticsearch (4)
- Emacs (223)
- Emacs講座 (10)
- English (4)
- feedforce (7)
- fetchmail (3)
- Firefox (20)
- Fluentd (4)
- ftp (2)
- Game (21)
- GCP (1)
- Gem (5)
- Git (9)
- GitHub (23)
- golang (11)
- Google (1)
- gpg (4)
- GrowthForecast (7)
- Health (6)
- Heroku (20)
- Homebrew (10)
- HTML (6)
- iBook (1)
- iPad (1)
- iPhone (17)
- IRC (1)
- Jenkins (8)
- JS (1)
- Karabiner (1)
- KeySnail (3)
- Kibana (1)
- Kindle (1)
- Kubernetes (2)
- Langrich (7)
- LDAP (6)
- Life (24)
- Linux (7)
- Mackerel (1)
- macOS (1)
- Mew (18)
- MongoDB (1)
- Mozilla (19)
- Music (1)
- MySQL (1)
- NAS (4)
- nginx (6)
- NHK (1)
- Node (1)
- ntp (4)
- OOP (2)
- OpenID (2)
- openssl (1)
- Opera (2)
- OSX (41)
- Perl (14)
- PHP (19)
- PostgreSQL (1)
- procmail (4)
- Programing (3)
- Puppet (1)
- Python (2)
- Rails (13)
- Rake (2)
- RaspberryPi (2)
- Redash (1)
- RedHat (29)
- Redmine (3)
- RSpec (2)
- Ruby (52)
- samba (3)
- screen (7)
- sed (5)
- serverspec (6)
- sh (8)
- Slack (2)
- Solaris9 (22)
- Spring (2)
- ssh (4)
- StatusNet (21)
- svn (12)
- Swift (1)
- Tablet (1)
- tdiary (3)
- Terraform (2)
- Twitter (15)
- Twmode (6)
- Ubuntu (5)
- UNIX (102)
- vagrant (8)
- Video (21)
- vim (1)
- Wercker (9)
- Windows (29)
- Wine (3)
- XML (11)
- XP (1)
- zsh (26)
- インストールメモ (33)
- クイックシェイプ (12)
- ネタ (15)
- 勉強会 (17)
- 携帯 (6)
- 正規表現 (4)

過去ログ
2019 : 01 02 03 04 05 06 07 08 09 10 11 12 2018 : 01 02 03 04 05 06 07 08 09 10 11 12 2017 : 01 02 03 04 05 06 07 08 09 10 11 12 2016 : 01 02 03 04 05 06 07 08 09 10 11 12 2015 : 01 02 03 04 05 06 07 08 09 10 11 12 2014 : 01 02 03 04 05 06 07 08 09 10 11 12 2013 : 01 02 03 04 05 06 07 08 09 10 11 12 2012 : 01 02 03 04 05 06 07 08 09 10 11 12 2011 : 01 02 03 04 05 06 07 08 09 10 11 12 2010 : 01 02 03 04 05 06 07 08 09 10 11 12 2009 : 01 02 03 04 05 06 07 08 09 10 11 12 2008 : 01 02 03 04 05 06 07 08 09 10 11 12 2007 : 01 02 03 04 05 06 07 08 09 10 11 12 2006 : 01 02 03 04 05 06 07 08 09 10 11 12 2005 : 01 02 03 04 05 06 07 08 09 10 11 12 2004 : 01 02 03 04 05 06 07 08 09 10 11 12 2003 : 01 02 03 04 05 06 07 08 09 10 11 12 2002 : 01 02 03 04 05 06 07 08 09 10 11 12 2001 : 01 02 03 04 05 06 07 08 09 10 11 12

過去ログ

2019 : 01 02 03 04 05 06 07 08 09 10 11 12
2018 : 01 02 03 04 05 06 07 08 09 10 11 12
2017 : 01 02 03 04 05 06 07 08 09 10 11 12
2016 : 01 02 03 04 05 06 07 08 09 10 11 12
2015 : 01 02 03 04 05 06 07 08 09 10 11 12
2014 : 01 02 03 04 05 06 07 08 09 10 11 12
2013 : 01 02 03 04 05 06 07 08 09 10 11 12
2012 : 01 02 03 04 05 06 07 08 09 10 11 12
2011 : 01 02 03 04 05 06 07 08 09 10 11 12
2010 : 01 02 03 04 05 06 07 08 09 10 11 12
2009 : 01 02 03 04 05 06 07 08 09 10 11 12
2008 : 01 02 03 04 05 06 07 08 09 10 11 12
2007 : 01 02 03 04 05 06 07 08 09 10 11 12
2006 : 01 02 03 04 05 06 07 08 09 10 11 12
2005 : 01 02 03 04 05 06 07 08 09 10 11 12
2004 : 01 02 03 04 05 06 07 08 09 10 11 12
2003 : 01 02 03 04 05 06 07 08 09 10 11 12
2002 : 01 02 03 04 05 06 07 08 09 10 11 12
2001 : 01 02 03 04 05 06 07 08 09 10 11 12

検索