エンドコンテンツやジョブ調整その他コンテンツを含む、運営側のテストプレイについて議論するスレッドです。
Printable View
エンドコンテンツやジョブ調整その他コンテンツを含む、運営側のテストプレイについて議論するスレッドです。
某インタビューにて、エンドコンテンツでのテストプレイでは「HPが0になるとMAXまで回復する」、所謂無敵モード付きでテストしている事がわかりました。
一々ワイプしていては時間が足りない為、この機能をつけてテストプレイをする、という理由はよくわかります。
しかしながらアレキサンダー零式3層、零式4層のDPSチェックやギミックによるダメージ等が非常に厳しいものになっており、ナイトでは火力が足りない。星占術師ではヒール能力が足りない。といった事態となりました。
とくにナイト、星占術師は調整をいくつか加えた現在でも力不足が目立ち、PT募集で弾かれている傾向にあります。
個人的にはアンバランスな調整、といった印象なのですが、この無敵モードでのテストプレイが調整不足という結果に繋がっているのではと考えています。
運営側で割けるコストに限界があるのはよくわかりますが、ディアデム諸島然り、ギャザラークラフターの赤貨然り、アレキサンダー零式然り、結果として良い調整が行われていなければ、プレイヤー側に残るのは不満のみです。
運営の皆様が調整を妥協しているとは思っていませんが、改めて開発環境を見直して頂ければと思います。
もう一度「全てはお客様の為に。」の標語を振り返ってみて下さい。
参加条件の平均ILとは別に想定ILも開示してほしい、というのはありますね。
開発側から言わせると、そういうところも含めてプレイヤーで模索して情報共有をしてほしい、というのも理解できますけど。
早期クリアを目指しているような団体は条件の平均ILで禁断とかして、あらゆる試行錯誤で乗り越えていくんでしょうが
挑戦する全てのプレイヤーが全員そうである、とは言えないでしょうし
想定ILが分かれば、それを揃えてもクリアできないのであればあとは装備じゃない、プレイヤーのスキル回し等に原因があるとわかりますから。
ナイトと占星術に関してはDPSとHPSだからレイドのテスト方法は全く関係ないと思うよ
この二つはスキル威力とステータスだけで算出できる
単純にジョブコンセプトが間違ってるから零式に向かないという致命的な設定ミス
エンドコンテンツに席を必ず作る無個性型ジョブ調整にするのか、エンドコンテンツそれぞれで使い分ける個性むき出し型にするのかの違いですかね
ナイトと占星術が後者に分類されてる気がするんで戦士みたいに前者よりの調整しないと駄目でしょうね
ナイトは初心者向けというか、操作があんまり忙しくないイージージョブみたいな位置づけがあるのかも
逆に占星術はピーキーすぎて学者のスキル以上にタイムラインを把握し、PTに統率の取れた動きを要求するイメージです
ある意味で吉田Pのプレイヤー技術に差があるってのは正しいけど、これ厳しすぎない?というのがにわかヒーラーの意見となります
インタビュー読みましたけど私は捉え方が少し違いましたね。
NABEnabeさんの書き方だと、無敵モードでテストを進めるから調整不足になると言う様に見えますが、そうではないでしょう。
ノーダメージ状態でのプレイはギミックを把握することそのものの調整で、最後は通常と変わらない状態でクリアできるかテストしていると言っています。
コンテンツ全体の調整ならばそれでいいと思います。
インタビューからわからなかったのは、「今回の新ジョブも含めて全部のジョブの組み合わせでクリアできたのか?」という点です。
例えば基本的な性能は同じだからこの組み合わせでいけるなら大丈夫というような風になっていないかが疑問です。
ここで局所的な調整不足が出ているのではないかとは思います。
NABEnableさんはコスト観点でも話題を出されていますが
調整をしっかりしようと思うと別の何かを犠牲にする必要があると思います。
何を犠牲にするのが妥当だと考えていますか?
ぱっと思いつくには
①パッチリリース間隔 ⇒例:現状3~4ヶ月間隔を5~6ヶ月にする変わりに調整期間をしっかり取る
②プレイ料金 ⇒例:基本プレイ料を倍にして開発体制をもっと厚くできるように
③コンテンツ量 ⇒例:パッチ毎のコンテンツ量を少なくする変わりに一つ一つのクオリティを上げる
④何も犠牲にしない ⇒例:突然開発陣が神の啓示により素晴らしい調整方法を思いついて現状コストのままクオリティを上げる
個人的には本スレの要求を通すなら
①③は維持してもらいたいので②が一番妥当な線だと思っています。
ふむー。納得できる話ですね。しかしそうなると週制限トークンが障害になるという・・・なかなか上手いこといかないものですね。
プレイヤー技術で差があるのはどのジョブでも同じことなんですが、なぜ星だけそこをピックアップして取り上げてるのか、という疑問点はありますね。
ナイトは零式(2層以外)との相性があまりよろしくない、というのが現状ですが、そうなるとMT枠は自然とナイト、暗黒どちらも使えるようにしろ、ということになります。MMOとしては自然なことですが、週制限で1ジョブを集中してファーミングするFF14としてはどうなのかなあという思いもありますね。
そこらも含めると調整に限りがないですけど、そのような仕組みを設けた以上は運営の皆様には頑張っていただきたいですね。
①はすでに犠牲になっている気が(ry
②月額量倍は言い過ぎかもしれませんが、課金アイテムで収益がでているそうなのでそちらの充実化には賛成ですね。
③については、ちょっと細かく述べます。
確かに限られたリソースをどう用いるかも重要ですが、個人的にはGSなどのリソースをバトルコンテンツに割けばいいのでは、と思ってしまいますね。
こう言うとGSをないがしろにしていると思われてしまいますが、現在GSのミニゲームでどれくらいの人が遊んでいるのか。
TTやLoVの大会にどれくらいのプレイヤーが参加しているのか。最後にチョコボレースで遊んだのいつごろか・・・などを考えていると、どうも割くべき容量のバランスを誤っているようにおもえます。
GSだけを削れ、ということではなく、たくさんの人が遊んでいるコンテンツにもっと注力するべきなのでは、という意見です。
結局遊ばれていないコンテンツは、実装されていないに等しいですからね。
今回の零式はそのドツボに片足を突っ込んでいた感じはしますね・・・。
インタビューを読んできましたが、
①最初に通常のプレイヤーが試行錯誤するような段階は無敵モードでプレイし期間を短縮
②最後は通常状態でプレイ
③ただしアレキ零式3層・4層については各フェーズごとに分割して調整プレイ
という内容でした。
#2を読むと最初から最後まで無敵モードでしかやっていない、というような印象を受けましたが実際はだいぶ違うようです。
問題として挙げるならばあくまで零式3層・4層の調整であり、
さらに問題点は火力そのもの・ヒール力そのものではなく、それらに間接的に影響する
通しプレイ時の各ジョブのバフ温存状態、TP枯渇具合、ヒールヘイトあたりになるかと思います。
一部に限っては調整の仕方を変えざるをえない、テストの方向性が違うとは言っているものの。
別コンテンツでも後から問題が見つかって修正何回やってるんでしょうね。
想定やらなんやらって結局自分たちの『杜撰』には向き合ってない話しですし。
単純に詰めが甘い欠点を後から後から、変えます変えますじゃあ想定もクソも無いです。
そもそもプレイヤーがどうこう言ったところで。
開発が一生この考え方やスタンスだと。
何も伝わらないし逆にプレイヤーが駄々こねているだの風評だのわけのわからないレッテルをプレイヤー側に貼られる事になります。
占星の調整についての発言もそうですが。
本当にPSが高い占星使いとか変な言葉持ち出してますけど。
そもそも何がPSが高いのか把握できていますか?と問いたいです。
我々は開発なのでさも全てを把握しています雰囲気で話していますけど、テスト不足という言葉の意味わかっているのでしょうか?
インタビューを読んで、調整全体の流れとヒーラーの調整について思うところがありました。
全体の流れが
1.超無敵モードでギミックを把握しつつ、ギミックのおかしいところを調整。
2.準無敵モード(リレイズモード←勝手に命名)で細かい部分も調整。
3.通常モードで、クリアできるレベルまで調整。(理論上できそうなら打ちきりもあり)
というものなので、ヒーラーの調整が不足するのではないかと。
というのは、「2」の段階でヒーラーの調整が多少おろそかでもタンクとDPSの調整は進むので、そのまま「3」の段階に移る、と思われるからです。
そのへんが、占星術師のイメージ問題に現れているのではないかと思いました。
吉田Pは、プレイヤーがまだ慣れていないとおっしゃってますが、ただそれだけなら同時に追加された暗黒と機工も同様の事態になっていてしかるべきです。
べつに暗黒と機工が、そんな簡単なジョブなわけでもないですし。
むしろ暗黒に関しては、ナイトを押し退けてまで席がある状態ですし。
ワイプしてたらきりがないのは「1」まででしょう。
「3」でフェーズごとの調整がてきるのなら、「2」の無敵モードは不用ではないかと思いました。
大型アップデートの3.0は確かに遅かったけど(春発売だとおもったら初夏だったでござる)
3.0から3.1のパッチリリース感覚はそこだけちょっと休みをもらうからって理由で長くなるのは前々から言われてたとおもうけど?
レイド調整に時間かけて次パッチが3月、4月あたりになったりするのは嫌だし私は別に今の運営の調整のやり方は問題ないと思うけどねー
でもまぁこのILで調整してましたってのは今後教えてほしくはあるねー
多分全身IL200で調整してると思うけど、、、さすがに全ての層を210のフル装備でテストプレイしてないとおもうよ、、、?
無敵モード…所謂デバックモードでテストを進めたスタッフが、そのまま製品版と同じ状態でクリアしたとして、果たしてそれが「テスト」になるのか疑問です。
既に何度もクリアしているプレイヤーと等しい状態のスタッフに、改めてクリアさせてみて問題がないから良し…問題あるわけないじゃないですか、既に何度もクリアしてるんですから。
デバックモードでテストプレイを進める、というのは客観的な視点・判断力を殺ぐ可能性が極めて高く、調整が必要な部分を見つけきれないまま完成としてしまうのが調整不足に繋がっていると思います。
客観的な視点でのテストプレイがきちんとなされていれば、例えば占星術の能力が微妙すぎるだとか、忍者の印がラグの影響をもろに受け不安定すぎるだとか、既に修正された調整不足の類には
充分気付けていたと思います。ゲーム制作に関して大半がずぶの素人であるプレイヤーですら問題点として認識する人があれだけ多かったのですから。
このスレみて確信したことが一つある。
次の律動編も難易度高すぎ!私がクリアできないのは調整不足!って要望が出る事。
ある程度はテストになると思いますよ。
そもそもどんな状態でテストを進めようが、通常状態でクリアできないものは明らかな調整不足と分かります。
逆に、通常状態でクリアできるものはギミックの慣れやすさやジョブの相性の問題を含みこそすれど、コンテンツとして使用できる状態にはなったと判断できます。
言ってしまえば、ここまではコンテンツ作りそのものでしょう。
FF14の開発はここの部分は非常に上手くやれているのだろうなと思っています。
(リリース初期にファウスト先生やった時とかすごく上手くやってるなと思いましたよ。)
では、なぜ調整不足という意見が出るのかというと、特定状況での難易度上昇をジョブ設定のトレードオフの結果として考えているからだと思います。
本当にそれで済むのならいいのですが、実際には設定で得たものがコンテンツによっては全く活かせない場合もあります。
この場合、他職と比較してデメリットを負った状態になります。
これを知るために「使われるであろう全部のジョブの組み合わせでテストする」ことが大事だと思います。
どのジョブでも入れる平等性と最高難易度を両立させるならば、トレードオフの結果を活かせない状況を作ってはいけないです。
こういう仕上げの部分が上手く行っていないのではと考えます。
※占星術師の性能や忍者の印ラグはコンテンツの調整とは別だと思います。
いやいや、勿論時間が無限にあるわけじゃないんですから、初期段階でデバックモードを使用して調整しながらのテストプレイを行うのは当然だと思います。
問題は最後の詰めの部分で「完成版と同じ状態・プレイヤーと同じ環境の状態でどうなるか」というテスト段階を踏んでいないことでしょう。クリア可能なのは確認済みですからここは何ヶ月も掛けて攻略する必要がありません。
忍者の印ラグもそうですし、過去で言えば処理速度によってダイブ回避が極端に難しくなる、というような問題もそうです。「プレイヤー視点でのテスト・考察」を省略するから見落としたのだと思います。
彼らはプロなのですから、オンラインゲームにラグの問題はつきもの、程度の事は知っていて当然です。にも関わらず、調整段階でそれを踏まえないのは、酷とは言えません。単なる見落とし、ミスです。
最後に製品版と同じものを「今までと違うスタッフが、事前情報なしで一から通しプレイしてみる」のであればテストになる、とは思います。これは、何故多くのゲームで
テストサーバーやテスターが運用されているのかを考えれば自明の理です。「より実際に近い状態でのテストを行わなければ、実態との乖離が起きる」ことが分かっているからでしょう。
この点については今回のインタビューにおいても、開発側の想定DPS算出基準とプレイヤーの攻略実態にはかなりの差があるということが、はっきりと具体的に読み取れます。
難易度にしてもジョブ性能にしてもそうですが、開発者視点に終始する調整は「木を見て森を見ず」となることが多い。その結果、零式のような失敗につながるのですから、客観的視点でのテストは必要不可欠と言えます。
テストを行い想定の検証を行うのは確かに乖離を防ぐためでもあります。
しかし、どこまで実際の状況に近い状態でテストができるのかという問題は常に付きまとい、またやりようのないテストと言うのも存在します。
Apacheさんの例で言えば、プレイヤーの攻略実態というのはリリースしてみないことには分かりませんから、この乖離を確認するテストは不可能です。
こういう失敗は想定されても避けようのないものです。
加えて客観的視点でのテストが難しい問題もあります。
例えばアレキ零式は適切な難易度(数値設定含む)であるかという部分はリリース前にテストを行ってもテスター各個人が主観的に答えるものであるため、そのデータの正確性を確認できません。
テストをやる意味がないとは言いませんが、やってもはっきりとこうであると言いきれないテストでもあるのです。
こういった正確性のブレから起こるであろう失敗もまた、想定されても避けようはありません。
ここに時間をかけるべきかどうかは分かれるところでしょう。
これら類の失敗はフィードバックを送り待つ以外プレイヤーが行えることないと思います。
それから、やけにテスト経験を気にしていますが、何を検証するかでテストに必要な条件と言うのは変わってくるものです。
実際にプレイされる最終的な状態を確認するのに、「今までと違うスタッフが、事前情報なしで一から通しプレイしてみる」ほどの必要はあるかというと、そこまでは必要ないと思います。
というか、これだけの条件が必要な確認事項ってなんでしょう?
私は通しプレイでクリアが確認されればコンテンツとしては大よそ完成としてもいいのではないかと思うのですが。
なんでもそうですが、完全な状況を作り出した上での完璧なテスト、などというものは事実上不可能ですので、これが出来ないから仕方がない
と言い出すと、そこで思考停止状態になってしまいます。少なくとも、過去複数のコンテンツにおいて幾度となく「バランスの詰めが甘い」という趣旨のフィードバックを受けている訳ですから、検証方法自体を見直す等の取り組みがあって然るべきなのではないでしょうか?でなければ、いくら失敗部分のフィードバックを受けて調整したところで、いずれ同じような失敗を繰り返してしまいますし、実際そうなっているのが現状でしょう。第一、失敗する前提でその都度手直しするというやり方は「だから詰めは甘くてよい」という認識にも繋がります。予測しえない状況の改善は仕方がないとして、なんでもかんでもフィードバック待ちというのは、それこそリソースの無駄遣いでしょう。
そしてテスト経験ですが、今開発陣が行っているのはあくまで「不具合が生じないか、クリア不可能になっていないか」というシステム上に限ったものです。これ自体は必要ですし、否定しているわけではありません。しかし現実には「事実上クリア不可能になる」といった類のケースが起こり得ますね?これについてよく開発側は「想定外」という言葉を用いますが、単純に考えても「これはダメだろう」と予測がつくようなものにまで「想定外」を適用されては、ユーザーとしてはたまったものではありません。
雲海探索で効率を重視し弱い敵を乱獲するのが「想定外」でしょうか?ナイトで零式に挑むこと自体「想定外」になってしまうんでしょうか?
私が、実際にプレイされる最終的な状態を確認するのに「プレイヤーと同じ土俵でテストプレイをしてみる必要がある」と言っているのは、上記のようなあまりにもお粗末な「想定外」が多すぎるからです。ちょっと「想定外」の敷居が低すぎなのではないですかね。
どこまで予算を使えるのか・・はわかりませんがw
無敵モードなどで開発陣がチェックしたのちアルバイト人員16人を二組にわけて
Aチームは全員同じ部屋で随時相談しながらクリアを目指す担当ジョブも固定
Bチームは各自バラバラの部屋から一切相談なしチャットすら無し毎日担当ジョブも変更
初心者の館で担当ジョブを練習してもらうことにより館のフィードバックもできるし
Bチームの方には日によっては開発陣がコッソリ混じったりもできるし
累計時間で進行度はどのくらいなのか、どのくらい死ぬのか、どのくらいストレスなのか
どの部分がストレスなのか、ギミックの意味がわかるのにどのくらいの時間がかかるのか
その他開発陣では気づけない視点からの発見が色々ありそうじゃないですかね?
「開発陣の貴重な時間を無駄にしてはいけない」凄くよくわかります。
でも無駄な時間と切り捨てた中にも重要な情報が結構あると思います。
そしてその無駄だと切り捨てた時間はパッチ開放とともにプレイヤーがお金を払って消費する
時間でもあると思うのです。
「フェニックスの尾」やそれに類する軍票交換品で、
開発側の遊んでいる無敵モードをプレイヤーも使えればいいんじゃないでしょうか。
①パッチリリース間隔 ⇒ 影響なし(最初だけ若干延びるかも)
②プレイ料金 ⇒ 影響なし
③コンテンツ量 ⇒ 影響なし
といった面にもほぼ影響せず改善できます。
無敵アイテム14本なら14回発動できたり、
コンテンツごとに推奨本数の基準を金、銀、銅など用意すれば、
基準より多く効果発動した者のみ個人報酬を減らす事もできます。
…こんなモードがあったら回復役や一部スキルが不要になる、という印象もありますが、
もともと回避不可の全滅即死ギミックも多いし影響は少ないはずです。
若く手先が器用で反射神経のよい若者ばかりでテストプレイしてるんじゃないだろうかと、時々思ったことはあります。
また割りと狭い場所でリアルVC出来ちゃうような環境なんじゃ?とも。
老若男女色々なテストプレーヤー揃えるのは大変なんでしょうが、すこし気にかけてくれると嬉しいです。
※少し私の話している範囲から超える内容が散見されるため確認として書きます。
私の話は「高難易度コンテンツはどうやって調整しているのか?」というインタビューの話から始まっているので、アレキ零式等の最高難易度コンテンツを想定して話しています。
そのため、雲海探索などの調整についてはお話の範囲に含めていませんので、その点をご了承ください。
フィードバックを受け検証方法を見直すなどの取り組みをして、失敗を防ぐようにした方がいいのはその通りです。
しかし、それはそれを行うことが客観的に可能でかつ有効であるから行うことです。
今回のアレキ零式のDPSチェックを厳しくし過ぎたという失敗はこういった取り組みができない、もしくはその有効性に疑問がつくものです。
それは#27でお話したようにテストの方法が存在しないなどの理由から再発を確実に防ぐ術を持てないためです。
こういうものを目的とする値に近づけるには、実際のデータから事後的に推測するしかありません。
しかし、データから推測されたことが正しいのかどうかも、推測を適用し改めて取れたデータから確認するしかないので同じような失敗の連続がどうしてもあり得ます。
これは設定に変更を加え続ける限り起きてしまう現象で、詰めが甘いのではないのです。
この事後的に推測するしか改善の方法がない失敗は、起きてしまったらより良い推測になるようにデータを増やし、次は起きないように祈るしかないです。
他にできることと言えば、失敗が起きても大丈夫なように準備しておくくらいでしょうか。
いずれにせよ、失敗自体がなくなることはないと思います。
それとテストの条件のことですが、「想定外」と言う言葉に踊らされ過ぎです。
インタビューなどでの想定外という話は単に開発は想定していなかったと言うだけでしょう。
私たちプレイヤーが想定外と言っていたことを想定できていたかや、客観的に想定可能であったかは関係ないと思います。
想定できたであろうことを想定できていなかった時の不満などはもっともだとも思いますがね。
ただ、プレイヤーと同じ状態のテスターを用意したとしてもあなたのいうお粗末な想定外が見つかるかは疑問です。
そのテスターがプレイヤーと同じ行動をしてくれるとは限らないのですから。
初見状態のテストプレイヤーで同じフェーズを繰り返し無敵状態でテストするってのは
ギミックの理解や実際に乗り越えれるかを見るのもあるけどギミック担当者が想定していない方法でクリアーするチームが出てこないかとか出てきたとして難易度的にどれくらいの感じで乗り越えてるかとか色々見るんでしょ
ユーザーがレイドで経験する色々な大変な事は、もちろんあるだろうけど
FF11時代からFFは遊びじゃありません仕事です!て冗談めかして言う人ていると思うけど
仕事で指定された条件を満たしながら同じフェーズを繰り返しやるってのは大変だと思うけどね作ってる最中だろうからSE音とかも昔の仮のもので なんかしっくりこないのをさんざんやらされたりするんだろうから
型にはまった事を言っていれば問題にならないだろうけど吉田さんは楽しんでもらいたいて気持ちがあるだろうから
誰もが思いつくようなテストもやっているだろうけど敢えてそのへんは避けて一言や都合のいい事ばかり話して終わらないようにしているように見えるけどな
記事で言うなら完全なクリアーて言ってるけど毎週消化するだけになってる人達が完全クリアーしていると判断されるのかはわからなしね
社内機密だ~特許だ~カメラ付き携帯の持込はやめてください!て世の中でライバル会社の人もいるだろうに これだけ話してくれるのは個人的にありがたいけどね
旧FF14の最後のほう黎明期と言ってもいいかもしれないけど あの頃は、もっとユーザーと運営は近い場所に居たと感じられた
新生しユーザーが増えた事で出来ていた事が出来なくなる残念さを最近よく感じる
ゲーム一本作るのに多額の資金がかかるようになってユーザー層を増やすために本来ゲームになかった要素を取り込んで成長してきたのがFFシリーズだろうし
常識や通例にとらわれすぎた物作りでは、その枠を超えたものというのはなかなか作りだせない
私はだけどFF14が、より面白ゲームになるのであれば その方法にはこだわらない 型にはめてつまらないゲームになるよか よっぽどまし
現状のゲーム性に変化が乏しい事を嘆くユーザーが多いと感じる一方で常識や通例で型にはめようと感じる事が多く それが本当に面白いゲームを作っていく事に繋がるのかとか色々思ってしまう
テスト方法自体はしょうがないのかなと思います。
ただ、新レイド開放後の数週間とかは特にフィードバックに注視しつつ
短い期間で調整をこまめに入れてほしい。
極端にジョブがかぶった構成でクリアしたいわけでもないんですけど
少なくとも、「このジョブがいたら勝率が・・・・」みたいなケースは減らしてほしいです。
時間が足りないとか仰いますけど、そこを何とかするのが仕事なのでは?と思いますが。
ワールドファーストがクリアに1ヶ月でしたっけ?でも彼らは仕事でやってるわけじゃ無いよね。
ちゃんと守秘義務契約を結んでテストプレイヤーを雇って、ガチで仕事として、
ちゃんと通常回線を使ってVC禁止で朝から晩までみっちり1ヶ月やらせれば
クリア出来るんじゃないかな?零式のリリース間隔が6ヶ月なんだから
奇数パッチが当たったころに一般環境でのテストプレイを開始して、1ヶ月で問題抽出、残り2ヶ月で
デバックなど出来ないのかなと思います。
なんかアレ零(高難易度)とかいらない。って言ってるだけだけのスレっすね。
攻略するにストレスなくクリアしたいとかもうエキルレやないですか。
ここでユーザーの気持ちをうんたらっていう人の気持ちを考えたらエキルレから今でいうIL210ドロップでいいでしょう。
確かに完璧など調整はできっこないので、運営側とプレイヤー側のある意味妥協点に落ち着ければいいのかな、と考えています。
失敗の連続性も成程と思えるお話しですね。ただあまり失敗を重ねて信頼を損なってしまってはなんの意味もないので、難しいところですね。
プレイヤーが離れてしまってはせっかくの失敗も活かせませんから。
そして想定外という件については、想定してないことが起きたのだからまあ仕方のない事なのかもしれません。ですが想定している予想範囲が狭く浅かったのだとしたらこれは問題ですね。
今の運営ガーとかそういう意味で言ってる訳ではありませんのであしからず。
そもそもの話として。
アレキ零式に設定された難易度が難しすぎるかどうか、という問題と運営のテストプレイの手法についての内容は、まったく関係が無いと思いますよ。
今回のアレキ零式については、運営側が難しすぎた、と言っている通りに「あらゆる手段をやりつくせる集団が一ヶ月以上かかってやっとクリアできる難易度」に設定されており、その設定にする為のテストプレイについては、むしろ想定どおりのテストが出来た結果と言えると思います。
一方でVC未使用や野良パーティでは、全然クリア出来ずにギスギスするぐらいの難易度であるがどうなの?という問題は、ターゲットかどこに設定されていたかの問題であって、テストプレイの手法に関係する内容ではないです。
要は
◎アレキ零式はノーマルがあるからトッププレイヤーが苦労する難易度に設定したことが失敗だった。
×無敵モードなどの開発設定で難易度を調整をしているから、結果として難しいコンテンツになってしまっている。
ということをしっかり認識したほうがいいと思います。
テストプレイの手法については、時間短縮もさることながら試行錯誤を重ねていた国も異なるトッププレイヤー2組がほぼ同じ週にクリアした結果を鑑みると完璧なバランス調整を導き出しているに等しい、優秀なテストプレイ手法だと思いますよ。
今回、問題にすべき、さらには吉田Pが反省の弁を述べた部分というのは、FF14のテストプレイの手法ではなく、難易度ターゲットの設定の仕方だったと思います。
はっきり言って野良でVC無しでギスギスしないギリギリの範囲でやりごたえのある程度の難易度に抑える場合、トッププレイヤーは数時間でクリアしてしまいます。
(最近の例だと極ナイツオブラウンドぐらいの難易度)
今フォーラムで声を上げている、現状のFF14の難易度に不満がある人は、こういう調整をすれば満足できると思いますが、一方で競技嗜好の強い?海外のユーザーからは、底の浅いゲームという認識を持たれてしまい、結果として商業的にマイナスになる懸念があります。
この部分の難易度におけるユーザーの嗜好に対して、バランスと整合性をどう取るには、どれぐらいの難易度を想定べきか?というのが議論すべきポイントであって、想定した難易度の通りにコンテンツを調整するテストプレイの手法に原因を求めたところで話は明後日の方向へ行くだけだと思いますよ。
私としては、ノーマルと零式を分けて、難易度を調整したことそのものは良かったと思いますが、問題点としては報酬取得バランスも含めてノーマルを緩和しすぎたことにあると思います。
その為、あっというまに陳腐化してしまい、本来であればノーマルで満足すべき層のユーザーまで零式に挑戦することになり、結果として不満が炸裂したと思います。
改善案としては、ノーマルと零式の突入週制限を共通化し、装備ドロップルールも同じにして排他的な選択肢としてノーマルに行けば、その週は零式に挑戦できず、零式に入ってしまえば、クリア出来なくてもその週のノーマルは攻略できないようにしてしまえば、想定どおりのユーザーの住み分けが進み、ノーマルの早い陳腐化を防ぐことが出来ると思います。