2021-10 / 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31

2021-10-03 (日)

RIZIN LANDMARK vol.1 の時間帯に発生した U-NEXT の障害体験メモ #RIZIN_LANDMARK #RIZIN_LANDMARK01

RIZIN 初の、配信に特化した格闘技イベント RIZIN LANDMARK vol.1 が 2021-10-02(土)19:00 から開催されるはずだった。ちなみに 4 試合で ¥3,800 と、オトクな料金設定ではない。

その時間に合わせて 18:45 頃に PC ブラウザで https://video.unext.jp/ にアクセスしたら、しばらく待たされた後 502 Bad Gateway が返ってきた。

502 Bad Gateway

U-NEXT 公式アカウントからはお知らせがあった。https://video.unext.jp/ 自体にアクセス出来ないため、サイト上でのお知らせは確認できず。




しばらく待ってもアクセスできなかった。スマホアプリならアクセスできるとの情報を目にしたため Android 版をダウンロードしたところ、エラーにはならず静止画を見られた。幸い Chromecast を持っていたため、テレビにキャストして大画面には出来た。

PC ブラウザだと相変わらず 502 Bad Gateway が発生。その後 404 Not Found のケースや、CloudFront が返す nginx らしきエラー文言も確認できた。スマホアプリはしばらくお待ちくださいメッセージと BGM が流れるのみ。

自分の経験上、Chromecast でスマホアプリをテレビにキャストするより、PC をテレビに HDMI 接続するほうが安定性が高いので、見られはしたが不安要素はあった。

19:45 にスタジオの映像が繋がり、RIZIN CEO 榊原さんからお詫びとともに 20:00 に開催するとのお知らせがあった。実際開催され、21:30 頃の終了まで、特に問題なく視聴することが出来た。

ただし、その間 PC ブラウザはエラーになり続けたようだ。途中でブラウザのタブを閉じたため、復旧時間は分からない。

試合の合間に U-NEXT の CM が入ったのは視聴者体験として最悪だった。それも RIZIN に合わせたわけではない普通の U-NEXT の CM。もちろんその時はまだ障害発生中。いやー、最悪だったw

参考: 当日の私のツイート

勝手に想像したこと


PC ブラウザ経由のアクセスについて、RIZIN LANDMARK 視聴者だけでなく、U-NEXT 視聴者全体に影響が出ていたと思われる。

PC ブラウザはエラーになり、スマホアプリは問題なかったことと、502 Bad Gateway という事象から、両者のバックエンドサーバー群は別だったと考えられる。ちなみに成人向けの https://video.hnext.jp/ に PC ブラウザでアクセスしたらこちらも問題なかった。こちらも別だと考えられる。

PC ブラウザは 20:00 以降もエラーが解消されなかった。バックエンドサーバーをスケールアウトするのにそこまで時間がかかるものだろうか?

video.unext.jp は CloudFront の IP アドレスと紐付いていた。https://video.unext.jp から適当に見つけた in.unext.jp は AWS ELB の IP アドレスだった。

$ dig +short video.unext.jp
d1p8rc5i9ac9qt.cloudfront.net.
13.225.159.68
13.225.159.100
13.225.159.56
13.225.159.96

$ dig +short in.unext.jp
td-bridge-43693737.ap-northeast-1.elb.amazonaws.com.
35.74.87.62
54.65.156.101
52.193.64.209



勝手に想像するに、バックエンドサーバーは素の EC2 インスタンスで、運用の事情でスケールアウトに時間がかかったのかな。ECS を使っていたにしても、EC2 インスタンスの台数の上限に達してしまったのかもしれない。AWS のサポートに連絡するも、すぐには上限を開放できなかったとか、もしくは土曜日ということもあり、障害発生時に当番エンジニアに連絡がつかなかったとか。

格闘技イベントならではの事情


榊原さんの総括によると、格闘技イベントは間際の購入が多いそう。



RIZIN Live は前日までの購入だと 500 円安いけど、U-NEXT は何もない。視聴者としては、今回早く買うインセンティブはなかった。ちなみに私は前日に買った。計画的奴。

それもあって調達すべきサーバーの台数を見誤り、今回の障害が発生したのだと思う。

U-NEXT では今まで音楽イベントのライブ配信はあったそうだが、外でも配信をしていたそう(噂レベル)。格闘技の独占配信ライブは初めてだったようなので完全な見積もりミス。初めての時は、見積もりの 2 倍くらいにはすると思うのですがね。ちなみにライブ視聴数は公式にはお知らせはないが 10 万人には行かないそう。

RIZIN としては「U-NEXT 独占配信」が仇となった。

まとめ


2021-10-02(土)18:30 頃から 21:00 過ぎまで(?)に U-NEXT を PC ブラウザで見られない障害が発生した。スマホアプリでは見られた。

同時間帯は RIZIN LANDMARK vol.1 のライブ配信のまっただ中。格闘技イベントという性質上、ネット上では不満が爆発した。選手もいつまでか分からない中待たされて、大変だったと思う。

RIZIN は U-NEXT とのタッグを今後も続けるのであれば、早く買えば少し安くなるなど、見積もりの制度を上げる施策は必須。加えて、試合の高揚感をぶち壊すような CM を流さないことはもちろん、U-NEXT 上でも RIZIN のユーザー体験が出来るような、コミュニケーションのすり合わせも。配信プラットフォームを冗長化することも必要かもしれないが、アライアンスという意味では難しいのかな?

そもそも今後、朝倉海選手の海外転向、那須川選手のボクシング転向など、スター選手が減る中で、配信特化型イベントを続けられるかという問題はあると思う。

その後の動き


U-NEXT から謝罪のお知らせがありました。
格闘技イベント『RIZIN LANDMARK』の配信につきまして - お知らせ|U-NEXTヘルプセンター

2021-10 / 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31

検索


最近の話題
- 2021-10-03
  RIZIN LANDMARK vol.1 の時間帯に発生した U-NEXT の障害体験メモ #RIZIN_LANDMARK #RIZIN_LANDMARK01
- 2021-09-27
  Terraform を使わずに Route 53 の DNS レコードを管理する方法を調べてみた
- 2021-08-25
  Manjaro でハイバネート出来るようにしたメモ
- 2021-08-07
  Chrome から Firefox に乗り換えたよ
- 2021-07-28
  3月に無償提供となった Microsoft Power Automate Desktop を今さらながら使ってみた
- 2021-06-10
  Dependabot の Terraform 1.0 対応が完了した件
- 2021-05-30
  暑がりの私にはマスクチェーンがとても合ってる
最近追記された記事
- 2021-03-14-1 (55日前)
- 2021-06-10-1 (122日前)
- 2021-03-15-1 (210日前)
- 2021-01-05-1 (251日前)
- 2014-11-02-2 (569日前)
- 2020-01-22-1 (575日前)
- 2019-02-11-1 (749日前)
- 2019-02-03-1 (749日前)
- 2019-01-28-1 (749日前)
- 2019-02-03-1 (791日前)
カテゴリ
- Android (3)
- Anthy (3)
- Apache (11)
- Apple (1)
- ATOK (4)
- au (3)
- AWS (25)
- Bazaar (1)
- Berkshelf (2)
- BigQuery (1)
- BitBar (4)
- Book (115)
- Boxen (2)
- Bugsnag (1)
- capistrano (4)
- chalow (57)
- ChatWork (1)
- Chef (17)
- Chrome (4)
- Chromecast (1)
- CircleCI (15)
- clang (26)
- Comics (2)
- Cooking (10)
- cvs (15)
- cygwin (12)
- D3.js (1)
- Debian (55)
- Docker (5)
- E-mail (9)
- elasticsearch (4)
- Emacs (225)
- Emacs講座 (10)
- English (4)
- feedforce (7)
- fetchmail (3)
- Firefox (21)
- Fluentd (4)
- ftp (2)
- Game (21)
- GCP (1)
- Gem (5)
- Git (10)
- GitHub (24)
- golang (11)
- Google (1)
- gpg (4)
- GrowthForecast (7)
- Health (7)
- Heroku (21)
- Homebrew (10)
- HTML (6)
- iBook (1)
- iOS (1)
- iPad (1)
- iPhone (17)
- IRC (1)
- Jenkins (8)
- JS (1)
- Karabiner (1)
- KeySnail (3)
- Kibana (1)
- Kindle (1)
- Kubernetes (2)
- Langrich (7)
- LDAP (6)
- Life (25)
- Linux (7)
- Mackerel (1)
- macOS (1)
- Manjaro (1)
- Mew (18)
- MongoDB (1)
- Mozilla (19)
- Music (1)
- MySQL (1)
- NAS (4)
- nginx (6)
- NHK (1)
- Node (1)
- ntp (4)
- OOP (2)
- OpenID (2)
- openssl (1)
- Opera (2)
- OSX (41)
- Perl (14)
- PHP (19)
- PostgreSQL (1)
- procmail (4)
- Programing (3)
- Puppet (1)
- Python (2)
- Rails (13)
- Rake (2)
- RaspberryPi (2)
- Redash (1)
- RedHat (29)
- Redmine (3)
- RSpec (2)
- Ruby (54)
- samba (3)
- screen (7)
- sed (5)
- serverspec (6)
- sh (8)
- Slack (4)
- Solaris9 (22)
- Spring (2)
- SQL (4)
- ssh (4)
- StatusNet (21)
- svn (12)
- Swift (1)
- Tablet (1)
- tdiary (3)
- Terraform (5)
- Twitter (15)
- Twmode (6)
- Ubuntu (5)
- UNIX (102)
- vagrant (8)
- Video (21)
- vim (1)
- Wercker (9)
- Windows (29)
- Wine (3)
- XML (11)
- XP (1)
- zsh (26)
- インストールメモ (33)
- クイックシェイプ (12)
- ネタ (15)
- 勉強会 (19)
- 携帯 (6)
- 正規表現 (4)
過去ログ
2021 : 01 02 03 04 05 06 07 08 09 10 11 12
2020 : 01 02 03 04 05 06 07 08 09 10 11 12
2019 : 01 02 03 04 05 06 07 08 09 10 11 12
2018 : 01 02 03 04 05 06 07 08 09 10 11 12
2017 : 01 02 03 04 05 06 07 08 09 10 11 12
2016 : 01 02 03 04 05 06 07 08 09 10 11 12
2015 : 01 02 03 04 05 06 07 08 09 10 11 12
2014 : 01 02 03 04 05 06 07 08 09 10 11 12
2013 : 01 02 03 04 05 06 07 08 09 10 11 12
2012 : 01 02 03 04 05 06 07 08 09 10 11 12
2011 : 01 02 03 04 05 06 07 08 09 10 11 12
2010 : 01 02 03 04 05 06 07 08 09 10 11 12
2009 : 01 02 03 04 05 06 07 08 09 10 11 12
2008 : 01 02 03 04 05 06 07 08 09 10 11 12
2007 : 01 02 03 04 05 06 07 08 09 10 11 12
2006 : 01 02 03 04 05 06 07 08 09 10 11 12
2005 : 01 02 03 04 05 06 07 08 09 10 11 12
2004 : 01 02 03 04 05 06 07 08 09 10 11 12
2003 : 01 02 03 04 05 06 07 08 09 10 11 12
2002 : 01 02 03 04 05 06 07 08 09 10 11 12
2001 : 01 02 03 04 05 06 07 08 09 10 11 12