勉強会

第5回 データアーキテクト（データ整備人）を”前向きに”考える会 - connpass 前回 [2020-06-09-1] に続いての参加。大きな組織に所属されている方が多いのかな。 当日の #前向きデータ整備人 Tweet 以下、個人的なメモです。 抽出の仕事をうまくやるために必要なこと 主催者のしんゆうさん ヒアリングは重要だよなあ。少なくとも、データ整備にかける時間の半分はそれに使っても良いと思う。誤ったヒアリングをすると、誤ったデータ整備をしてしまうので。 雑用扱いはされてないので、その点は恵まれている。私がそもそもデータ整備人というよりエンジニアだからね。 片手間でもできる！BIレポート整備人のためのガイドライン ウィルさん ガッツリ専業なので、今の状況には当てはまらないけど、片手間の人は大変そうだな。 「#前向きデータ整備人」を参考にデータ基盤を立ち上げた話 おおたさん 分析基盤構成は興味深かった。マネーフォワードも Looker 使っているんだね。 DataOpsという観点からデータ整備人を考える ぼうさん こちらの発表に限らないけど、大企業所属の方が多いのかな。 今はビジネス職の人と二人三脚でやっているので、お互いを理解して、まずは動くものを実装していくフェーズ。役割がシンプルなので、今のポジションを深く考えていない。始まったのが４月からというのもある。 ゼロから作ったデータサイエンス組織で意識した事 高橋光さん 「データドリブンな会社にする」 それな！

第4回 データアーキテクト（データ整備人）を”前向きに”考える会 - connpass 最近この辺の仕事をし始めていて会社の人が教えてくれたので、初参加してきました。YouTube ライブだったので、かなりお手軽な参加でした。 今回は LT 祭り。技術の話から温かみのある話まで、網羅的に話を聞けた気がします。 当日の #前向きデータ整備人 以下、個人的なメモです。 どうやって「データを整備すると良いことがある」を周りに伝えるか 主催者のしんゆうさん 使う人の気にすることを減らし、本来の分析に集中させるためにも、データ整備が必要。 データ分析する人は難しい SQL 書きたいわけではないですからね。データ分析をしたいわけでもないし、意思決定を素早くしたいはず。 データ整備に必要な「実装設計書」の作成とコミュニケーション事例 （フォーム URL を公開してよいか分からないので載せない） 小川 卓さん 分析の質は取得しているデータの質に依存する。いくら AI とかが発達してもこれは変わらない。まあそうだよね。 もう一度、表計算ソフトを愛でる 高比良 めぐみさん 秘伝のタレしがちだけど、使いどころによるという話。 個人的には、使い捨てのスプレッドシートや、BigQuery を介した機械的な利用には良さそうな気はしている。 スキル0が曖昧な領域を埋めるために人の流れを整備した話 TODO: 資料が公開されたらここに貼る 山崎 隆弘さん 今の会社は大企業ではないとは言え、関係性を増やすのは少し分かる。私がひきこもりニートなので、そんなには出来ないし、やりすぎないようにもしているけど。 embulk, digdagを用いたデータ基盤構築 土川 稔生さん BigQuery に集約するためのノウハウの話だった。 今回話には出なかったけど、Redash のクエリの数は辛くないのかな。 私もちょっと前まで Redash を構築したり、少し SQL 書いてたけど、Redash のクエリ数が多くて辛い問題はあった。 最近機会があって Looker を学習しているけど、「ビジネス職の方がかんたんにデータを扱えるとはこういうことか」と感動している。学習や導入が進んだらどこかで話したい。 未来を変える！ Withユーザー志向 成瀬エールさん 多くの運用担当者は、“与えられた環境の中だけ” の発想で運用、改善を行います。かつ結構我慢強いものです。 この件に限らず、とても良くわかる。そのためにもこちらから踏み込んで、理解したり知ってもらうことは必要。 業務データ整備における課題と対応について （資料は連絡が来たら送るとのこと） 和田怜さん ここまで自由奔放なデータを扱う予定はいまのところなさそうだが、大変そうだな…。 “あえて"データ整備人になるメリットを前向きに考えてみた 香村貴之さん 意思決定の支援 意思決定の最大化...

https://herokujp.doorkeeper.jp/events/82754 最近業務で Heroku 周りのことを一手に引き受けています。社内に本番環境での知見はあまりないので、参加してきました。 参加は初なんですが、前回の記事 [2018-11-21-1] を Slack の HerokuJP User Group にシェアしたら成り行きで話すことに。LT 以外で外で話すのは初でしたが、良い意味でこじんまりした Meetup で、割とリラックスして話せましたね。 会社の勉強会だと 20 人くらいいるので、良い訓練になっていたのかも。 アプリケーションエンジニアから見た The Twelve-Factor App by @kimihom The Twelve-Factor App は以前読んだことがあったけど、もう一度確認しようと思いました。 config/environments/staging.rb 作ってしまうとか、忘れてますね…。中身は require_relative ‘./production.rb’ にしてますがね。 先々週 GA になった heroku.yml を使った Docker Deploy の紹介 by @masutaka 前述のとおり、[2018-11-21-1] のプレゼン版です。 プレゼン用に ↓ このリポジトリを作りました。README.md に沿って試すと、とっても簡単に Heroku の Docker 周りを試せます。興味ある方は是非どうぞ。 正しく理解する Heroku Flow by @sho7650 ちょうど Heroku CI と Promotion は知りたかったので、タイミングが良かったです。 Promote で引き継ぐのは Slug のみで、環境変数は引き継がないそうなので、うちのチームのデプロイ高速化と安全性の向上に使えると思いました。...

golang.tokyo #10 x WomenWhoGoTokyo golang.tokyo #2 以来、久々に参加してきました。運営の皆様、ありがと うございました。 MacBook Air を持っていくのが面倒になったので、リュウドの折りたたみ キーボード [2010-11-15-1] を引っ張り出して持っていたけど、机がなく 使うのは断念。でもその分、聞くことに集中できた気はする。 テキスト審査 in Pairs ※ TODO: 資料が公開されたらここに貼る 後藤勝哉さん／株式会社エウレカ 後藤さんが高熱のため、同じエウレカの森川さんが代わりに発表。 業者などの悪徳ユーザを、サインアップやマッチング成立後にどのように 除外しているかのお話。 kagome という形態素解析ライブラリを使った go-jp-text-ripper を使っ てワードフィルタリングしている。go-jp-text-ripper の作者は、今回代 理で発表している森川さん！ Kuromoji も使っていたんだっけかな。忘れた。他に正規表現や機械学習 も使っていて、相当泥臭い。 3か月でフィルタリングルールは使えなくなる。イタチごっこ。 怪しいものは通さない。Slack で CS に通知して、最終的には人間が確認 する。 現在はエンジニアも運用に関わっているとのこと。気になったので質問し てみた。 inerfaceとの付き合い micchieさん／WomenWhoGoTokyo 私は inerface は理解したつもりではいますが、実践で使ってないので、 多分まだ理解できていないでしょう…。 こういう使い捨てスクリプトはつい慣れた言語を使ってしまう。micchie さんの場合、PHP じゃなくて golang を使ったのはどういう意識だったの かな。 メルカリ カウルのマスタデータの更新 tenntennさん／株式会社ソウゾウ GCS 上の 50MB の TSV ファイルを分割しながら（行単位ではない！）、 RDS に入れていくお話。 Transfer の実装は気が狂いそうになるらしい。バイト列の処理はそこそ こ出来るつもりだけど、まだ来てないから待つとかは嫌だな…。 質疑応答の時に「ファイルサイズは GB 単位なので違いますが」という前...

Kubernetes Meetup Tokyo #5 - connpass 今回はこれに尽きました。GKE ちょっと触っただけでの参加は時期尚早だった。 loading... ありがたいことに、全体の動画が公開されています。 [WIP] 運用しているサービスをKubernetes化するかどうか考える by @r_takaishi GMO ペパボの minne のお話。高石さんお久しぶりです。 Private Cloud の OpenStack 上に VM インスタンスが 100 台稼働中 1 回のデプロイに 25 分、1 台のスケールに 10 分。遅い コンテナ化したアプリを Kubernetes 上に載せてみた（検証中） デプロイは 10 分に、スケールは 4 分に短縮 Kubernetes 化により技術的課題が解決できそうで、素晴らしいと思った。 今後の動きが気になる。 Using Kubernetes in Production by @koudaiii AWS の kops 上で Kubernetes を動かして、もう 1 年になるらしい。 ECS 使わなかったのは、相当早くからコンテナ化に取り組んだからかな？ cron は Kubernetes の ScheduledJob を使っているらしい。Job は失敗 すると、自動で Retry するため、冪等性を保つ Job が必要とのこと。...

第18回elasticsearch勉強会｜Meetup 前々回 [2016-06-28-1] に続いて、2 回目の参加です。今回は先週社内勉 強会で発表したばかりだったので、熱量高めでした。いや、むしろ燃え尽 きていたかも…。 自分のブログに Elasticsearch + Vue.js で検索機能を付けたという発表をした｜feedforce Engineers’ blog ※ このブログ右上の検索ボックスのお話です What’s new Elastic Stack 5.2 Elastic 社の Jun Ohtani さん Elasticsearch 5.1 ~ Cancel long-running “Search” task by the task management API Elasticsearch 5.2 ~ Index and search numeric and data ranges Keyword field with Normalizer Can break terms down into partitions ちょうど今回 5.1 の検索を使ったのでタイムリーでした。大文字小文字 を区別させない検索に Keyword field with Normalizer が使えそうです。 Metricbeats は zabbix-agent の Elasticsearch 版みたいなやつらしい。...

Elasticsearch は [2014-12-14-1] から個人で使っています。会社によう やく導入できた こともあり、今月は自分にとって Elasticsearch 一色でした。 GrowthForecast のデータを Elasticsearch にインポートした [2016-06-13-1] 1.7 から 2.3 にバージョンアップしたらハマってフォーラムで質問した 2016/06/14 Kibana-4.5 がメモリをバカ食いするので調べて対策した [2016-06-26-1] ちょうどよいタイミングで勉強会の案内を見つけたため、月の締めとして 初参加してきました。 第16回elasticsearch勉強会 #elasticsearch #elasticsearchjp - elasticsearch勉強会｜Doorkeeper 当日の朝、60 人くらいキャンセル待ちだったので諦めていたのですよ。 でも、あれよあれよという間に参加可能に・・・！ @johtani はじめとした主催者の皆様、ありがとうございました。 LogstashとElasticsearchで作るEnterprise Search Platform Elastic 社の Kosho Owa 氏による発表。 samba 上のドキュメントの変更を vfs_full_audit でシステムログに記録。 必要なログを Logstash から Elasticsearch に送ることで検索インデッ クス更新のトリガーとしているというお話。 残念ながら Logstash は使ったことはありませんが、ちょっとだけ興味持 ちました。 output で curl とかを eval するのはスケールしないとのこと。その代 わりの方法で filter で ruby を使っていたので、質問タイムで毎回 fork しないか聞いたらしないとのこと。 あとで大谷さんが調べてくれたのがこちら。ありがとうございます。 第16回Elasticsearch勉強会を開催しました。 #elasticsearchjp - @johtaniの日記 2nd Logstashのfilter-ruby はここで、evalしてcallしてるから、特にforkとかしてないかと。...

最近は仕事とか二日酔いとかで結構忙しくて、もう一週間が経ってしまい ました。。 今回YAPCというPerl最大のイベントに初参加しました。残念ながら土曜日、 最終日だけの参加でしたが、なかなかに満足度が高かったです。(YAPCって、 怖いイベントじゃなかったんですねw) 最初の @yusukebe さんのトークの分かりやすさが半端なかった(以前聞い たLTも良かった)。Perlをほぼいじったことない私でも普通に理解出来まし た。トークがわかりやすいのか、Mojoliciousが分かりやすいのか。 MojoliciousのデフォルトはVCしかないというのは清々しさを感じました。 16:30から始まったLT大会は個人的にはツボのものが多く、他のLLのLTとは 違った雰囲気でした。 以下、当日聞いたトークです。 Mojoliciousでつくる！Webアプリ入門 → ブログ記事 Programming AWS with Perl What’s new in Carton & cpanm GitHubでつくる、たのしい開発現場 → ブログ記事 中規模チャットサービスの運用事例 PhantomJSによる多岐にわたる広告枠の確実な表示テスト フルテストも50msで終わらせたい 〜 FreakOutの取り組み 〜 Lightning Talks Day 2 Keynote YAPC::Asia Tokyo 2013 クロージング P.S. ノベルティが良かったです。中でもmixiプランニングポーカーが一番嬉し かった。普通に買おうと思ってたので。DeNAのスマホスタンドも使ってま すし、YAPCタオルは今日ジムで使ってきました。

７月に東京に引っ越してきて、早３回目の勉強会。 そろそろ何もない週末が欲しい…w さて、そうは言っても東京で何年ぶりかに開催されたEmacsのイベント。 @mori_dev さんはじめ、お初にお目にかかれた方が何人もいて、楽しい時 間を過ごせました。 最近は勉強会ではなるべくメモを取らずに、イベントを楽しむようにして いるので、思い出したまま書いていきます。 個人的に一番面白かったのは、@inoue_ariel さんの「Emacsのバッファの 内部実装について 」。Emacsと言えばギャップバッファ、ギャップバッファ と言えばEmacsというのはもちろん、ギャップバッファという名前自体初め て聞きました。しかし、memcopy()のコストがあれほど低いのにはビックリ です。最近のCPUはキャッシュの容量が増えてるのが要因なんでしょうか。 でもギャップバッファって昔から使っているのですよねえ。。 Emacsのソースコードは [2010-06-19-2] で、その変態性を認識したことが ありますが、この時の記事も井上さんじゃないですか！(やべっ！深夜に鳥 肌立った！)2010年当時は組み込み業界で働いていたこともあり、アリエル も、アリエルの井上さんも存じ上げなかったのですが、自分の中で今繋が りました。 (衝撃的すぎて、何も思い出せなくなってしまった。。) さて、私もLTやりました。 内容はegg.elとgit-dwin.elの紹介です。自分のまわりで、コマンドライン からgitを使っている人が意外に多いので、発表することになりました。 頑張ってEmacsで全部やる必要はないけど、結構簡単に楽できるから、まあ ゆるく使おうよ。そんな内容です。 当日の夕方近くに急にやることが決まったので資料をちゃちゃっと作り、 まあ5分なんて余裕でしょ。なんて思っていたら大失敗w 発表用の画面操作 に手間取るわ、実演用のEmacsはミニバッファが見えないわ、時間は足りな いわでさんざんでした。さらには腹が減りすぎて、手がぷるぷる震える始 末。よく考えたらLTやるのは初めてでした。次回に生かしたいと思います。。。

この記事 で開催を知った LL Decade 。LL はおろか、Decade の単語の意味 も知らなかった元組み込みプログラマー、現 Web プログラマーですが、予 想以上に楽しめるイベントでした。 しかし暑かった。予定どおり汗だくで会場に到着。今回は机がなかったの で MacBookAir は使わず、iPhone に軽くメモりながら純粋に楽しむことに 専念。 基調講演で初めて @miyagawa 氏を拝見。手錠をはめられてプログラミン グ..の下りが印象に残りました。PHP は知れば知るほど変態言語で、第一 印象よりかなり好きになりましたが、私も手錠をはめられている感じはす るのですよね…。 意外だったのは今まで Python に全く関わらずに生きてきたのに、 Language Update Decadev で話を聞いて、やってみようかなと思ったこと。 LL イベントは各言語をつまみ食い出来るので、組み込みなど別な分野の人 が参加しても楽しめますね。今回はまつもとさんの mruby の話も熱かった ですし。 先週の Jenkins ユーザ・カンファレンスの熱が残っているのか、CI の話 もセッションまるまる使われていました。まあでも CI は各言語やフレー ムワークに共通する内容は薄いので、CakePHP2 と Jenkins みたいにドン ピシャの話が聞きたいですね。それは個々の勉強会でやることか。。あ、 もちろん各トークは面白かったです。 @yamashiro さんの話は特に。 JsTestDriver いいかもと思ったけど、複数サーバが必要なのは残念でした。 Javascript が機械語という解釈は今回一番面白かった。すなわち永遠に生 き続ける。確かに各ブラウザ対応を考えると素で書くのはしんどい。アセ ンブラに対する C みたいに、今後はもっとしっくりと上に乗っかるとうれ しいですね。> jQuery, JSX, CoffeeScript