2016-06-13 (月)

fluent-logger-ruby が堅牢だった件 [Fluentd][Ruby]

[2016-06-13-1] にも書いたとおり、こちらの PR で fluent-logger-ruby
を導入しました。
fluentd にも POST する by masutaka · Pull Request #40 · masutaka/masutaka-metrics

その時に、こんな問題に気づきました。



結論から言うと、Wrapper を作る必要はありません(一度作ってしまった
けど...
)。fluent-logger-ruby がいい感じに処理してくれます。

続きを読む

2014-12-14 (日)

nginxのアクセスログをFluentd経由でelasticsearchとBigQueryに送り始めた [Fluentd][elasticsearch][BigQuery]

masutaka.netのnginxアクセスログはmongodbとGrowthForecastに送ってます。

- [2013-07-14-1] nginxのアクセスログをFluentd経由でMongoDBに保存してみた
- [2013-08-15-1] nginxのアクセスログをFluentd経由でGrowthForecastのグラフにしてみた

今回、elasticsearchとBigQueryにも送り始めました。個人での必要性は
全くなく、単にelasticsearchとBigQueryを知っておきたかったからです。

続きを読む

この記事に言及しているこのブログ内の記事

2013-08-15 (木)

nginxのアクセスログをFluentd経由でGrowthForecastのグラフにしてみた [GrowthForecast][Fluentd][nginx][Chef]

画像

昨日[2013-08-14-1]インストールしたGrowthForecastをFluentdと連携させ
てみます。

今回グラフにしたのは2つの情報です。

(1) nginxが各リクエストを処理した時間($request_time)
画像

(2) nginxが返したHTTP Status Codeの数
画像

続きを読む

2013-07-14 (日)

nginxのアクセスログをFluentd経由でMongoDBに保存してみた [nginx][Fluentd][MongoDB]

画像

Fluentdを使ってみたかったので、masutaka.netのnginxアクセスログを
Fluentd経由でMongoDBに保存してみました。

Fluentdについては以下が分かりやすいです。
Fluentdで始めるリアルタイムでのログ有効活用 - CodeZine

今回も@hirocasterさんの記事をほぼトレース。

- なぜFluentdなどを使ってログデータ活用するのか?|Act as Professional - hiroki.jp
- fluentdをインストールしてnginxのログをまずはローカルで集める|Act as Professional - hiroki.jp
- fluentd経由のデータをmongodbへ保存する|Act as Professional - hiroki.jp
- 実際に運用しているサービスのnginxログをLTSVにしてみた!|Act as Professional - hiroki.jp

実際、やっていることは単純で、
1. nginxがアクセスログをファイルに書き出す。
2. それを検知したFluentd(実際はtd-agentを利用)がMongoDBに記録する。
ってだけです。

続きを読む

最終更新時間: 2017-02-22 00:46

検索
最近の話題
- 2017-02-21
  第18回Elasticsearch勉強会に参加してきた #elasticsearchjp
- 2017-01-27
  同じ Ajax 処理を Vue.js と jQuery で書いてみた
- 2017-01-10
  完全に闇に落ちていた StartSSL に ¥3,603 課金してしまったお話
- 2017-01-03
  Software Design を 13 ヶ月分まとめ読みした
- 2016-12-19
  任意の Ruby オブジェクトを YAML として書く
  Ruby の $ERROR_INFO などの特殊変数は require 'English' が必要だったのか
- 2016-12-14
  不惑の年に風呂の良さを知った
- 2016-12-10
  bundle install で Your Gemfile.lock is corrupt. と怒られる件
最近追記された記事
- 2017-02-21-1 (0日前)
- 2015-06-07-1 (6日前)
- 2016-10-19-1 (15日前)
- 2016-01-01-1 (27日前)
- 2015-01-04-1 (36日前)
- 2015-06-07-1 (56日前)
- 2016-12-10-1 (74日前)
- 2016-11-05-1 (82日前)
- 2015-01-04-1 (90日前)
- 2016-11-01-1 (111日前)
カテゴリ
- Anthy (3)
- Apache (11)
- Apple (1)
- ATOK (4)
- au (2)
- AWS (15)
- Bazaar (1)
- Berkshelf (2)
- BigQuery (1)
- BitBar (3)
- Book (85)
- Boxen (2)
- Bugsnag (1)
- C (26)
- capistrano (3)
- chalow (56)
- ChatWork (1)
- Chef (17)
- Chrome (3)
- Chromecast (1)
- CircleCI (7)
- Comics (2)
- Cooking (10)
- cvs (15)
- cygwin (12)
- D3.js (1)
- Debian (55)
- Docker (1)
- E-mail (8)
- elasticsearch (4)
- Emacs (219)
- Emacs講座 (10)
- English (4)
- feedforce (7)
- fetchmail (3)
- Firefox (20)
- Fluentd (4)
- ftp (1)
- Game (19)
- Gem (5)
- Git (8)
- GitHub (15)
- Go (5)
- Google (1)
- gpg (4)
- GrowthForecast (7)
- Health (2)
- Heroku (9)
- Homebrew (10)
- HTML (6)
- iBook (1)
- iPhone (14)
- IRC (1)
- Jenkins (8)
- JS (1)
- Karabiner (1)
- KeySnail (3)
- Kibana (1)
- Kindle (1)
- Langrich (7)
- LDAP (6)
- Life (18)
- Linux (5)
- Mackerel (1)
- Mew (18)
- MongoDB (1)
- Mozilla (19)
- Music (1)
- MySQL (1)
- NAS (4)
- nginx (6)
- NHK (1)
- Node (1)
- ntp (4)
- OOP (1)
- OpenID (2)
- openssl (1)
- Opera (2)
- OSX (41)
- Perl (14)
- PHP (19)
- PostgreSQL (1)
- procmail (4)
- Programing (3)
- Puppet (1)
- Python (2)
- Rails (10)
- Rake (2)
- RaspberryPi (1)
- RedHat (29)
- Redmine (3)
- Rspec (1)
- Ruby (48)
- samba (3)
- screen (7)
- sed (5)
- serverspec (6)
- sh (8)
- Slack (2)
- Solaris9 (22)
- Spring (2)
- ssh (4)
- StatusNet (21)
- svn (12)
- Swift (1)
- Tablet (1)
- tdiary (3)
- Twitter (14)
- Twmode (6)
- Ubuntu (5)
- UNIX (102)
- vagrant (8)
- Video (21)
- vim (1)
- Wercker (9)
- Windows (29)
- Wine (3)
- XML (11)
- XP (1)
- zsh (25)
- インストールメモ (33)
- クイックシェイプ (12)
- ネタ (15)
- 勉強会 (14)
- 携帯 (6)
- 正規表現 (4)
過去ログ
2017 : 01 02 03 04 05 06 07 08 09 10 11 12
2016 : 01 02 03 04 05 06 07 08 09 10 11 12
2015 : 01 02 03 04 05 06 07 08 09 10 11 12
2014 : 01 02 03 04 05 06 07 08 09 10 11 12
2013 : 01 02 03 04 05 06 07 08 09 10 11 12
2012 : 01 02 03 04 05 06 07 08 09 10 11 12
2011 : 01 02 03 04 05 06 07 08 09 10 11 12
2010 : 01 02 03 04 05 06 07 08 09 10 11 12
2009 : 01 02 03 04 05 06 07 08 09 10 11 12
2008 : 01 02 03 04 05 06 07 08 09 10 11 12
2007 : 01 02 03 04 05 06 07 08 09 10 11 12
2006 : 01 02 03 04 05 06 07 08 09 10 11 12
2005 : 01 02 03 04 05 06 07 08 09 10 11 12
2004 : 01 02 03 04 05 06 07 08 09 10 11 12
2003 : 01 02 03 04 05 06 07 08 09 10 11 12
2002 : 01 02 03 04 05 06 07 08 09 10 11 12
2001 : 01 02 03 04 05 06 07 08 09 10 11 12
Google+