Thread: パッチ3.5公開以降に発生しているデータセンター単位での障害について(1/27)

パッチ3.5公開以降、Mana、Aether、Chaosデータセンターにおいて発生している、データセンター単位での障害について、現在の状況をご報告させていただきます。

この障害は、コンテンツファインダーのマッチング処理をコントロールするシステムがマッチング負荷により異常動作をすることで発生していることを確認しております。これまで、障害時の状況や情報、パッチ3.51において導入した調査用のログから更なる対応と検証を最優先で行っております。

また、コンテンツファインダーのマッチング処理をコントロールするシステムは、データセンター単位で機能していることから、障害が発生した際には、復旧のためにデータセンター単位でのメンテナンス作業が必要になっています。長時間の障害となっており、誠に申し訳ございません。

現在、開発チームでは、対応や修正が正しく行われるかの検証を慎重に行っており、これら修正の適用には数日を要する見込みです。

週末のプレイにおいて影響が最小限で済むよう、開発／運営チームでのデータセンター監視を強化いたしますが、週末までの安定化に至らず申し訳ございません。

お客様には多大なご迷惑をおかけしておりますことを深くお詫びいたします。

パッチ3.5公開以降、Mana、Aether、Chaosデータセンターにおいて発生している、データセンター単位での障害について、現在の状況をご報告させていただきます。

先日、この障害は、コンテンツファインダーのマッチング処理をコントロールするシステムがマッチング負荷により異常動作をすることで発生していることをお知らせいたしましたが、これまでの調査および検証で、非常に低い頻度で発生する特定の条件でマッチング処理が完全に進まなくなり、結果としてサーバーダウンが発生していることがあらたに判明いたしました。

また、発生起因についてもある程度は特定できていますが、マッチング負荷が影響している箇所で、開発環境で完全な特定を行うことが難しい部分でもあるため、2017年2月2日(木)に予定しているパッチ3.51HotFixesにおいて、問題の切り分けを行うためのシステムと調査ログをさらに導入し、引き続き慎重に検証および対応を実施させていただきたいと存じます。

そのため、抜本的な解決にはもうしばらく時間が必要になることから、パッチ3.51HotFixesにおいて、お客様への影響を最小限にするべく暫定対処として、マッチング処理が進まなくなった場合に、問題となっている1キャラクターまたは1パーティ(1申請分)のマッチングをキャンセルすることで、マッチング処理が進まなくなっている状況を解消し、サーバーダウンにはならないように処理を変更いたします。

マッチングがキャンセルされてしまった場合には、あらためて申請してくださいますようお願いいたします。この変更によるマッチングのキャンセルは非常に低い頻度ではありますが、ご迷惑をおかけすることとなり誠に申し訳ございません。

引き続き、最優先で調査および対応を実施してまいりますので、いましばらくお待ちくださいますようお願い申し上げます。

お客様には多大なご迷惑をおかけしておりますことを深くお詫びいたします。

(2017年2月8日(水) 17:10追記)
本件につきまして、その後の状況を監視しておりましたが、現時点ではマッチングキャンセルとなるケースは発生しておりません。また、パッチ3.51HotFixesで導入した切り分けシステムや調査ログによって、概ね状況や原因が確認できましたので、次回パッチ3.55において、正式対応を実施させていただく予定です。

(2017年3月1日(水) 19:55追記)
2017年2月28日(火) 11:00より17:30まで実施したパッチ3.55aのメンテナンス作業において、本件の正式対応を行いました。
お客様にはご迷惑をおかけいたしましたことをお詫びいたします。