2014-12 / 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31

2014-12-14 (日)

nginxのアクセスログをFluentd経由でelasticsearchとBigQueryに送り始めた [Fluentd][elasticsearch][BigQuery]

masutaka.netのnginxアクセスログはmongodbとGrowthForecastに送ってます。

- [2013-07-14-1] nginxのアクセスログをFluentd経由でMongoDBに保存してみた
- [2013-08-15-1] nginxのアクセスログをFluentd経由でGrowthForecastのグラフにしてみた

今回、elasticsearchとBigQueryにも送り始めました。個人での必要性は
全くなく、単にelasticsearchとBigQueryを知っておきたかったからです。


elasticsearch


画像

http://kibana.masutaka.net/ からkibana経由で検索出来るようにしてい
ます(要Basic認証)。kibanaは評判が良かったので期待してたんですが、
使いづらいです。学習が必要そうです。。

インストールの概要


elasticsearchはopenjdk-7-jdkのインストールと、公式のインストール方
をそのままChefのレシピにしました。

kibanaは/var/www以下に公式のtar ballを展開して、nginxの静的コンテ
ンツの設定を追加しました。

ハマりどころ


特になく、jdk, elasticsearch, kibana, nginxのレシピを良い感じに組
み立てるのに時間を使いました。

Google BigQuery


画像

SQLなのでelasticsearchより取っ付きやすいのが良いです。
あ、Row=4はアカンやつや

インストールの概要


fluent-plugin-bigqueryのREADME.mdを読みつつ、以下の記事そのままで
できました。ありがとうございます。

FluentdでGoogle BigQueryにログを挿入してクエリを実行する - Qiita

projectはウェブ上から作り、dataset(db)とtableはGoogle Cloud SDK付
属のbqコマンドで作りました。google-cloud-sdkはbrew caskでインストー
ルできます。

$ bq mk masutakanet:nginx
$ bq mk -t masutakanet:nginx.access bigquery-nginx.json


td-agent.confはこのようになりました。

<match nginx.access.masutaka.net>
  type copy

  <store>
    type mongo
    (省略)
  </store>

  <store>
    type elasticsearch
    (省略)
  </store>

  <store>
    type growthforecast
    (省略)
  </store>

  <store>
    type bigquery
    method insert
    auth_method private_key
    email XXXXXXXX@developer.gserviceaccount.com
    private_key_path /etc/td-agent/conf.d/masutakanet-YYYYYYYY.p12
    project masutakanet
    dataset nginx
    table   access
    time_format %s
    time_field  time
    schema_path /etc/td-agent/conf.d/bigquery-nginx.json
  </store>
</match>



bigquery-nginx.jsonはこんな感じ。nginxのアクセスログと対応させます。

[
  {
    "name": "time",
    "type": "INTEGER"
  },
  {
    "name": "host",
    "type": "STRING"
  },
  {
    "name": "forwardedfor",
    "type": "STRING"
  },
  {
    "name": "req",
    "type": "STRING"
  },
  {
    "name": "status",
    "type": "INTEGER"
  },
  {
    "name": "size",
    "type": "INTEGER"
  },
  {
    "name": "referer",
    "type": "STRING"
  },
  {
    "name": "ua",
    "type": "STRING"
  },
  {
    "name": "reqtime",
    "type": "FLOAT"
  },
  {
    "name": "vhost",
    "type": "STRING"
  }
]



ハマりどころ


Google Cloud Platformに慣れなくてハマりました。

今回は諦めたこと


今までのmongodbのレコードをmongobqでBigQueryに送りたかったのですが、
以下のエラーが出てしまい断念しました。またトライするかも。

$ mongobq --database fluent --collection nginx --project masutakanet \
--dataset nginx --table access --keyfile masutakanet-ZZZZZZZZ.json \
--schema bigquery-nginx.json --bucket masutaka-mongobq --autoclean

Import 'nginx' collection into 'masutakanet:nginx.access'
Connecting to mongodb://localhost:27017/fluent
Check bucket 'masutaka-mongobq' ... Error: Access Not Configured. The API is not enabled for your project, or there is a per-IP or per-Referer restriction configured on your API key and the request does not match these restrictions. Please use the Google Developers Console to update your configuration.
    at handleResp (/home/masutaka/.nvm/v0.10.33/lib/node_modules/mongobq/node_modules/gcloud/lib/common/util.js:176:14)
    at Request._callback (/home/masutaka/.nvm/v0.10.33/lib/node_modules/mongobq/node_modules/gcloud/lib/common/util.js:382:11)
    at Request.self.callback (/home/masutaka/.nvm/v0.10.33/lib/node_modules/mongobq/node_modules/gcloud/node_modules/request/request.js:373:22)
    at Request.emit (events.js:98:17)
    at Request.<anonymous> (/home/masutaka/.nvm/v0.10.33/lib/node_modules/mongobq/node_modules/gcloud/node_modules/request/request.js:1318:14)
    at Request.emit (events.js:117:20)
    at IncomingMessage.<anonymous> (/home/masutaka/.nvm/v0.10.33/lib/node_modules/mongobq/node_modules/gcloud/node_modules/request/request.js:1266:12)
    at IncomingMessage.emit (events.js:117:20)
    at _stream_readable.js:943:16
    at process._tickCallback (node.js:419:13)


追記(2014-12-25):
fluent-plugin-bigquery v0.2.6がリリースされたので、「ハマりどころ」
からretriable gem v1.4.1を先にインストールする云々のworkaroundを削
除しました。

この記事に言及しているこのブログ内の記事

2014-12 / 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31

最終更新時間: 2017-11-24 21:17

検索


最近の話題
- 2017-11-18
  iPhone X 64GB SIM フリー版を買って一週間経った
- 2017-11-16
  golang.tokyo #10 x WomenWhoGoTokyo に行ってきた #golangtokyo
- 2017-11-12
  『PromiseとAsync-Awaitまとめ(Emacsで)』という LT をした
- 2017-11-10
  RSpec 3.5 から shared_context の使い方が少し変わっていた
  S3 の public バケットで特定パス以下を IP アドレス制限する
- 2017-11-01
  『オブジェクト指向設計実践ガイド』読書会での感想メモ
- 2017-10-30
  『スターティングGo言語』を読んだ
- 2017-10-22
  github-nippou を golang で書き換えて v4.0.1 リリースしてました
最近追記された記事
- 2017-04-08-1 (12日前)
- 2017-06-02-1 (146日前)
- 2017-04-29-1 (208日前)
- 2017-04-13-1 (222日前)
- 2017-04-13-1 (224日前)
- 2017-03-02-1 (266日前)
- 2017-02-25-1 (271日前)
- 2017-02-21-1 (275日前)
- 2015-06-07-1 (281日前)
- 2016-10-19-1 (290日前)
カテゴリ
- Anthy (3)
- Apache (11)
- Apple (1)
- ATOK (4)
- au (3)
- AWS (20)
- Bazaar (1)
- Berkshelf (2)
- BigQuery (1)
- BitBar (3)
- Book (90)
- Boxen (2)
- Bugsnag (1)
- capistrano (4)
- chalow (56)
- ChatWork (1)
- Chef (17)
- Chrome (3)
- Chromecast (1)
- CircleCI (10)
- clang (26)
- Comics (2)
- Cooking (10)
- cvs (15)
- cygwin (12)
- D3.js (1)
- Debian (55)
- Docker (3)
- E-mail (8)
- elasticsearch (4)
- Emacs (222)
- Emacs講座 (10)
- English (4)
- feedforce (7)
- fetchmail (3)
- Firefox (20)
- Fluentd (4)
- ftp (1)
- Game (20)
- GCP (1)
- Gem (5)
- Git (9)
- GitHub (19)
- golang (9)
- Google (1)
- gpg (4)
- GrowthForecast (7)
- Health (3)
- Heroku (9)
- Homebrew (10)
- HTML (6)
- iBook (1)
- iPhone (16)
- IRC (1)
- Jenkins (8)
- JS (1)
- Karabiner (1)
- KeySnail (3)
- Kibana (1)
- Kindle (1)
- Kubernetes (2)
- Langrich (7)
- LDAP (6)
- Life (19)
- Linux (6)
- Mackerel (1)
- Mew (18)
- MongoDB (1)
- Mozilla (19)
- Music (1)
- MySQL (1)
- NAS (4)
- nginx (6)
- NHK (1)
- Node (1)
- ntp (4)
- OOP (2)
- OpenID (2)
- openssl (1)
- Opera (2)
- OSX (41)
- Perl (14)
- PHP (19)
- PostgreSQL (1)
- procmail (4)
- Programing (3)
- Puppet (1)
- Python (2)
- Rails (12)
- Rake (2)
- RaspberryPi (1)
- RedHat (29)
- Redmine (3)
- RSpec (2)
- Ruby (50)
- samba (3)
- screen (7)
- sed (5)
- serverspec (6)
- sh (8)
- Slack (2)
- Solaris9 (22)
- Spring (2)
- ssh (4)
- StatusNet (21)
- svn (12)
- Swift (1)
- Tablet (1)
- tdiary (3)
- Twitter (14)
- Twmode (6)
- Ubuntu (5)
- UNIX (102)
- vagrant (8)
- Video (21)
- vim (1)
- Wercker (9)
- Windows (29)
- Wine (3)
- XML (11)
- XP (1)
- zsh (25)
- インストールメモ (33)
- クイックシェイプ (12)
- ネタ (15)
- 勉強会 (16)
- 携帯 (6)
- 正規表現 (4)
過去ログ
2017 : 01 02 03 04 05 06 07 08 09 10 11 12
2016 : 01 02 03 04 05 06 07 08 09 10 11 12
2015 : 01 02 03 04 05 06 07 08 09 10 11 12
2014 : 01 02 03 04 05 06 07 08 09 10 11 12
2013 : 01 02 03 04 05 06 07 08 09 10 11 12
2012 : 01 02 03 04 05 06 07 08 09 10 11 12
2011 : 01 02 03 04 05 06 07 08 09 10 11 12
2010 : 01 02 03 04 05 06 07 08 09 10 11 12
2009 : 01 02 03 04 05 06 07 08 09 10 11 12
2008 : 01 02 03 04 05 06 07 08 09 10 11 12
2007 : 01 02 03 04 05 06 07 08 09 10 11 12
2006 : 01 02 03 04 05 06 07 08 09 10 11 12
2005 : 01 02 03 04 05 06 07 08 09 10 11 12
2004 : 01 02 03 04 05 06 07 08 09 10 11 12
2003 : 01 02 03 04 05 06 07 08 09 10 11 12
2002 : 01 02 03 04 05 06 07 08 09 10 11 12
2001 : 01 02 03 04 05 06 07 08 09 10 11 12
Google+