2016-06 / 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

2016-06-28 (火)

第16回Elasticsearch勉強会に参加してきた #elasticsearchjp [elasticsearch][勉強会]

Elasticsearch[2014-12-14-1] から個人で使っています。会社によう
やく導入できた
こともあり、今月は自分にとって Elasticsearch 一色でした。

- GrowthForecast のデータを Elasticsearch にインポートした [2016-06-13-1]
- 1.7 から 2.3 にバージョンアップしたらハマってフォーラムで質問した 2016-06-14
- Kibana-4.5 がメモリをバカ食いするので調べて対策した [2016-06-26-1]

ちょうどよいタイミングで勉強会の案内を見つけたため、月の締めとして
初参加してきました。

第16回elasticsearch勉強会 #elasticsearch #elasticsearchjp - elasticsearch勉強会|Doorkeeper

当日の朝、60 人くらいキャンセル待ちだったので諦めていたのですよ。
でも、あれよあれよという間に参加可能に・・・!

@johtani はじめとした主催者の皆様、ありがとうございました。


LogstashとElasticsearchで作るEnterprise Search Platform




Elastic 社の Kosho Owa 氏による発表。

samba 上のドキュメントの変更を vfs_full_audit でシステムログに記録。
必要なログを Logstash から Elasticsearch に送ることで検索インデッ
クス更新のトリガーとしているというお話。

残念ながら Logstash は使ったことはありませんが、ちょっとだけ興味持
ちました。

output で curl とかを eval するのはスケールしないとのこと。その代
わりの方法で filter で ruby を使っていたので、質問タイムで毎回
fork しないか聞いたらしないとのこと。

あとで大谷さんが調べてくれたのがこちら。ありがとうございます。

第16回Elasticsearch勉強会を開催しました。 #elasticsearchjp - @johtaniの日記 2nd

Logstashのfilter-rubyはここで、evalしてcallしてるから、特にforkとかしてないかと。


質問した時はすごい!と思ったのだけれど、よく考えたら Logstash は
ruby(JRuby)で書かれていたのだった...。

fluentd も ruby だからね...。



企業・業界情報プラットフォームSPEEDAにおけるElasticsearchの活用




NEWS PICKS で有名な株式会社ユーザベースの北内啓氏による発表。

北内氏はなんとあの ChaSen の元開発者の方。Namazu のわかち書きを
KAKASI にするか、Chasen にするか悩みましたよね?

さてその SPEEDA は MySQL で全文検索していた頃は待たされて辛かった
けど、Elasticsearch にしたらヒャッハーと解決したらしい。

20 ノードくらいで運用していて、各企業データが 1 ドキュメントに収め
られているとのこと。最大約 40MB、そして約 11 万フィールド!これで
問題なく動作するというのだから、Elasticsearch 恐ろしい子!

NEWS PICKS でも Elasticsearch は導入していて、例えば『日本 化粧品
売上高』で検索すると、ピンポイントでグラフが表示される実装をしてい
るとのこと。

Elasticsearchベースの全文検索システムFess




株式会社エヌツーエスエムの菅谷信介氏による発表。

Elasticsearch を検索エンジンとして組み込んだ Fess のお話。権限情報
を filter クエリーで絞り込めば、権限がないドキュメントを検索結果に
表示させずにすむのか。なるほど。

LT: ElasticsearchとGCPのネットワークでハマった話




株式会社サイバーエージェントの平田大地(@daichild)氏による、GCP
のバッドノウハウのお話。

不具合をとことんまで調べていく熱い話でした。こういうの好き。

LT: スクリプトフィールドで作るランキングみたいな何か




iwag さんによる Elasticsearch のスクリプトは遅いけど(・∀・)イイ!!と
いうお話。

検索速度を比較すると、
フィールド : プラグイン : スクリプト = 1 : 6 : 16
らしい。

フィールドにある JSON っぽい文字列から要素を取り出せないか今月調べ
てましたが、そもそもだいぶ制限がありますよね。

そんなスクリプトだけどニコ動のランキングくらいなら、簡単に作れるよ
というお話でした。

勉強会全体的に Elasticsearch は力技でなんとかなる印象を受けました。
とは言え、基本に忠実にはありたいものです。

懇親会


ビール&ピザパーティでした。以前発表したことがある方と話し込んでい
ました。ホスティングサービスの Elasticsearch 試してみよー。

この記事に言及しているこのブログ内の記事

2016-06 / 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

最終更新時間: 2017-08-11 21:21

検索
最近の話題
- 2017-08-07
  github-nippou v3.0.0 released
- 2017-08-02
  『サーバーレスシングルページアプリケーション』を読んだ
- 2017-07-10
  emacs-helm の標準添付から外された helm-elscreen を Melpa に追加した
- 2017-07-05
  WEB+DB PRESS Vol.99の「実践Kubernetes」の第4章でつまづいたメモ #wdpress
- 2017-06-29
  Kubernetes Meetup Tokyo #5 に行ってきた #k8sjp
- 2017-06-26
  『プログラマのためのGoogle Cloud Platform入門』を読んだ
- 2017-06-02
  AWS Summit Tokyo 2017 に行ってきた #AWSSummit
最近追記された記事
- 2017-06-02-1 (41日前)
- 2017-04-29-1 (103日前)
- 2017-04-13-1 (117日前)
- 2017-04-13-1 (119日前)
- 2017-03-02-1 (161日前)
- 2017-02-25-1 (166日前)
- 2017-02-21-1 (170日前)
- 2015-06-07-1 (176日前)
- 2016-10-19-1 (185日前)
- 2016-01-01-1 (197日前)
カテゴリ
- Anthy (3)
- Apache (11)
- Apple (1)
- ATOK (4)
- au (3)
- AWS (19)
- Bazaar (1)
- Berkshelf (2)
- BigQuery (1)
- BitBar (3)
- Book (87)
- Boxen (2)
- Bugsnag (1)
- C (26)
- capistrano (4)
- chalow (56)
- ChatWork (1)
- Chef (17)
- Chrome (3)
- Chromecast (1)
- CircleCI (10)
- Comics (2)
- Cooking (10)
- cvs (15)
- cygwin (12)
- D3.js (1)
- Debian (55)
- Docker (3)
- E-mail (8)
- elasticsearch (4)
- Emacs (220)
- Emacs講座 (10)
- English (4)
- feedforce (7)
- fetchmail (3)
- Firefox (20)
- Fluentd (4)
- ftp (1)
- Game (20)
- GCP (1)
- Gem (5)
- Git (9)
- GitHub (17)
- Go (5)
- Google (1)
- gpg (4)
- GrowthForecast (7)
- Health (3)
- Heroku (9)
- Homebrew (10)
- HTML (6)
- iBook (1)
- iPhone (15)
- IRC (1)
- Jenkins (8)
- JS (1)
- Karabiner (1)
- KeySnail (3)
- Kibana (1)
- Kindle (1)
- Kubernetes (2)
- Langrich (7)
- LDAP (6)
- Life (19)
- Linux (6)
- Mackerel (1)
- Mew (18)
- MongoDB (1)
- Mozilla (19)
- Music (1)
- MySQL (1)
- NAS (4)
- nginx (6)
- NHK (1)
- Node (1)
- ntp (4)
- OOP (1)
- OpenID (2)
- openssl (1)
- Opera (2)
- OSX (41)
- Perl (14)
- PHP (19)
- PostgreSQL (1)
- procmail (4)
- Programing (3)
- Puppet (1)
- Python (2)
- Rails (12)
- Rake (2)
- RaspberryPi (1)
- RedHat (29)
- Redmine (3)
- Rspec (1)
- Ruby (50)
- samba (3)
- screen (7)
- sed (5)
- serverspec (6)
- sh (8)
- Slack (2)
- Solaris9 (22)
- Spring (2)
- ssh (4)
- StatusNet (21)
- svn (12)
- Swift (1)
- Tablet (1)
- tdiary (3)
- Twitter (14)
- Twmode (6)
- Ubuntu (5)
- UNIX (102)
- vagrant (8)
- Video (21)
- vim (1)
- Wercker (9)
- Windows (29)
- Wine (3)
- XML (11)
- XP (1)
- zsh (25)
- インストールメモ (33)
- クイックシェイプ (12)
- ネタ (15)
- 勉強会 (15)
- 携帯 (6)
- 正規表現 (4)
過去ログ
2017 : 01 02 03 04 05 06 07 08 09 10 11 12
2016 : 01 02 03 04 05 06 07 08 09 10 11 12
2015 : 01 02 03 04 05 06 07 08 09 10 11 12
2014 : 01 02 03 04 05 06 07 08 09 10 11 12
2013 : 01 02 03 04 05 06 07 08 09 10 11 12
2012 : 01 02 03 04 05 06 07 08 09 10 11 12
2011 : 01 02 03 04 05 06 07 08 09 10 11 12
2010 : 01 02 03 04 05 06 07 08 09 10 11 12
2009 : 01 02 03 04 05 06 07 08 09 10 11 12
2008 : 01 02 03 04 05 06 07 08 09 10 11 12
2007 : 01 02 03 04 05 06 07 08 09 10 11 12
2006 : 01 02 03 04 05 06 07 08 09 10 11 12
2005 : 01 02 03 04 05 06 07 08 09 10 11 12
2004 : 01 02 03 04 05 06 07 08 09 10 11 12
2003 : 01 02 03 04 05 06 07 08 09 10 11 12
2002 : 01 02 03 04 05 06 07 08 09 10 11 12
2001 : 01 02 03 04 05 06 07 08 09 10 11 12
Google+