第16回Elasticsearch勉強会に参加してきた #elasticsearchjp

Elasticsearch は [2014-12-14-1] から個人で使っています。会社によう
やく導入できたこともあり、今月は自分にとって Elasticsearch 一色でした。

ちょうどよいタイミングで勉強会の案内を見つけたため、月の締めとして
初参加してきました。

当日の朝、60 人くらいキャンセル待ちだったので諦めていたのですよ。
でも、あれよあれよという間に参加可能に・・・！

@johtani はじめとした主催者の皆様、ありがとうございました。

LogstashとElasticsearchで作るEnterprise Search Platform

Elastic 社の Kosho Owa 氏による発表。

samba 上のドキュメントの変更を vfs_full_audit でシステムログに記録。
必要なログを Logstash から Elasticsearch に送ることで検索インデッ
クス更新のトリガーとしているというお話。

残念ながら Logstash は使ったことはありませんが、ちょっとだけ興味持
ちました。

output で curl とかを eval するのはスケールしないとのこと。その代
わりの方法で filter で ruby を使っていたので、質問タイムで毎回
fork しないか聞いたらしないとのこと。

あとで大谷さんが調べてくれたのがこちら。ありがとうございます。

第16回Elasticsearch勉強会を開催しました。 #elasticsearchjp - @johtaniの日記 2nd

Logstashのfilter-ruby はここで、evalしてcallしてるから、特にforkとかしてないかと。

質問した時はすごい！と思ったのだけれど、よく考えたら Logstash は
ruby（JRuby）で書かれていたのだった…。

fluentd も ruby だからね…。

fluentdのout_exec_filterも，最初spawnした後はずっとそのプロセスを使い回しますね
— SKS rep (@repeatedly) June 27, 2016

NEWS PICKS で有名な株式会社ユーザベースの北内啓氏による発表。

北内氏はなんとあの ChaSen の元開発者の方。Namazu のわかち書きを
KAKASI にするか、Chasen にするか悩みましたよね？

さてその SPEEDA は MySQL で全文検索していた頃は待たされて辛かった
けど、Elasticsearch にしたらヒャッハーと解決したらしい。

20 ノードくらいで運用していて、各企業データが 1 ドキュメントに収め
られているとのこと。最大約 40MB、そして約 11 万フィールド！これで
問題なく動作するというのだから、Elasticsearch 恐ろしい子！

NEWS PICKS でも Elasticsearch は導入していて、例えば『日本化粧品
売上高』で検索すると、ピンポイントでグラフが表示される実装をしてい
るとのこと。

株式会社エヌツーエスエムの菅谷信介氏による発表。

Elasticsearch を検索エンジンとして組み込んだ Fess のお話。権限情報
を filter クエリーで絞り込めば、権限がないドキュメントを検索結果に
表示させずにすむのか。なるほど。

株式会社サイバーエージェントの平田大地（@daichild ）氏による、GCP
のバッドノウハウのお話。

不具合をとことんまで調べていく熱い話でした。こういうの好き。

iwag さんによる Elasticsearch のスクリプトは遅いけど(・∀・)ｲｲ!!と
いうお話。

検索速度を比較すると、
フィールド : プラグイン : スクリプト = 1 : 6 : 16
らしい。

フィールドにある JSON っぽい文字列から要素を取り出せないか今月調べ
てましたが、そもそもだいぶ制限がありますよね。

そんなスクリプトだけどニコ動のランキングくらいなら、簡単に作れるよ
というお話でした。

勉強会全体的に Elasticsearch は力技でなんとかなる印象を受けました。
とは言え、基本に忠実にはありたいものです。

ビール＆ピザパーティでした。以前発表したことがある方と話し込んでい
ました。ホスティングサービスの Elasticsearch 試してみよー。