elasticsearch

第18回elasticsearch勉強会｜Meetup 前々回 [2016-06-28-1] に続いて、2 回目の参加です。今回は先週社内勉 強会で発表したばかりだったので、熱量高めでした。いや、むしろ燃え尽 きていたかも…。 自分のブログに Elasticsearch + Vue.js で検索機能を付けたという発表をした｜feedforce Engineers’ blog ※ このブログ右上の検索ボックスのお話です What’s new Elastic Stack 5.2 Elastic 社の Jun Ohtani さん Elasticsearch 5.1 ~ Cancel long-running “Search” task by the task management API Elasticsearch 5.2 ~ Index and search numeric and data ranges Keyword field with Normalizer Can break terms down into partitions ちょうど今回 5.1 の検索を使ったのでタイムリーでした。大文字小文字 を区別させない検索に Keyword field with Normalizer が使えそうです。 Metricbeats は zabbix-agent の Elasticsearch 版みたいなやつらしい。...

Elasticsearch は [2014-12-14-1] から個人で使っています。会社によう やく導入できた こともあり、今月は自分にとって Elasticsearch 一色でした。 GrowthForecast のデータを Elasticsearch にインポートした [2016-06-13-1] 1.7 から 2.3 にバージョンアップしたらハマってフォーラムで質問した 2016/06/14 Kibana-4.5 がメモリをバカ食いするので調べて対策した [2016-06-26-1] ちょうどよいタイミングで勉強会の案内を見つけたため、月の締めとして 初参加してきました。 第16回elasticsearch勉強会 #elasticsearch #elasticsearchjp - elasticsearch勉強会｜Doorkeeper 当日の朝、60 人くらいキャンセル待ちだったので諦めていたのですよ。 でも、あれよあれよという間に参加可能に・・・！ @johtani はじめとした主催者の皆様、ありがとうございました。 LogstashとElasticsearchで作るEnterprise Search Platform Elastic 社の Kosho Owa 氏による発表。 samba 上のドキュメントの変更を vfs_full_audit でシステムログに記録。 必要なログを Logstash から Elasticsearch に送ることで検索インデッ クス更新のトリガーとしているというお話。 残念ながら Logstash は使ったことはありませんが、ちょっとだけ興味持 ちました。 output で curl とかを eval するのはスケールしないとのこと。その代 わりの方法で filter で ruby を使っていたので、質問タイムで毎回 fork しないか聞いたらしないとのこと。 あとで大谷さんが調べてくれたのがこちら。ありがとうございます。 第16回Elasticsearch勉強会を開催しました。 #elasticsearchjp - @johtaniの日記 2nd Logstashのfilter-ruby はここで、evalしてcallしてるから、特にforkとかしてないかと。...

そもそもこんな理由で、インポートしました。 このサーバで Elasticsearch + Kibana と GrowthForecast を両方稼働するのはリソースの無駄 GrowthForecast は私の環境では [2014-09-23-2] という問題がある インポートする方法はこちらの Issue にまとめました。 GrowthForecastのデータをelasticsearchにインポートする方法を調べる · Issue #4 · masutaka/masutaka-metrics Elasticsearch の Bulk API で比較的簡単にインポートすることが出来ま した。少しクセがあり苦戦した経緯は上の Issue に書いてあります。 インポートしたデータ量はたったの 600 レコード程度です。データの内 容としてはこのブログの Feedly, Hatena::Bookmark, Live Dwango Reader の購読者数やブックマーク数をグラフ化しています。 POST しているのは自作の masutaka-metrics です。今は GrowthForecast と fluentd 両方に POST していますが、そのうち fluentd だけにします。 今回 fluent-logger gem を導入しました。 fluentd にも POST する by masutaka · Pull Request #40 · masutaka/masutaka-metrics いろいろあった話は次回に書くとして、簡単に fluentd に任意のデータ...

masutaka.netのnginxアクセスログはmongodbとGrowthForecastに送ってます。 [2013-07-14-1] nginxのアクセスログをFluentd経由でMongoDBに保存してみた [2013-08-15-1] nginxのアクセスログをFluentd経由でGrowthForecastのグラフにしてみた 今回、elasticsearchとBigQueryにも送り始めました。個人での必要性は 全くなく、単にelasticsearchとBigQueryを知っておきたかったからです。 elasticsearch http://kibana.masutaka.net/ からkibana 経由で検索出来るようにしてい ます(要Basic認証)。kibanaは評判が良かったので期待してたんですが、 使いづらいです。学習が必要そうです。。 インストールの概要 elasticsearchはopenjdk-7-jdkのインストールと、公式のインストール方 法 をそのままChefのレシピにしました。 kibanaは/var/www以下に公式のtar ball を展開して、nginxの静的コンテ ンツの設定を追加しました。 ハマりどころ 特になく、jdk, elasticsearch, kibana, nginxのレシピを良い感じに組 み立てるのに時間を使いました。 Google BigQuery SQLなのでelasticsearchより取っ付きやすいのが良いです。 あ、Row=4はアカンやつや インストールの概要 fluent-plugin-bigqueryのREADME.md を読みつつ、以下の記事そのままで できました。ありがとうございます。 FluentdでGoogle BigQueryにログを挿入してクエリを実行する - Qiita projectはウェブ上から作り、dataset(db)とtableはGoogle Cloud SDK付 属のbqコマンドで作りました。google-cloud-sdkはbrew caskでインストー ルできます。 $ bq mk masutakanet:nginx $ bq mk -t masutakanet:nginx.access bigquery-nginx.json td-agent.confはこのようになりました。 <match nginx.access.masutaka.net> type copy <store> type mongo (省略) </store> <store> type elasticsearch (省略) </store> <store> type growthforecast (省略) </store> <store> type bigquery method insert auth_method private_key email XXXXXXXX@developer....