本当に難易度設定とテスト手法って関連が無いと思うのですか？

テストの意味する所は「試験」であり「お試し」であると思うのですが。
試験という意味では動作確認やそれこそ難易度に見合った調整になっているかを見る所であり現在の手法で特に問題は無いかと思いますがそれに対して、
お試しというのはやはり内容の知らない人が実際にプレイしてみてどう思うか？を見る仕上げの段階でありこれは絶対に必要であると考えます。
プレイヤーと同じ立場に立った人間がやってみて実際にどう思うか？何か足りない所は無いか、不親切なギミックは無いか、はたまた
「試験テスト班からは問題無い難易度だと認識が上がったが、お試しテスト班からはそれでも難色を示す意見が多い」
「本当にこの難易度でリリースして大丈夫なのか？難易度設定から見直すべきではないのか」
等、起こり得る懸念を抽出する上で絶対に必要であり、この精度が高ければ高いほど完成度は上がるものです。モノづくりの基本に立ち返れば、１度自分が作った物に対し批判的に見てみるという事は凄く大事ですよ。

今回の零式に関して難易度設定を誤ったという所はP/Dご自身が認めていると認識していますが、これは上記のお試しテストプレイが正しく機能していれば回避できた問題かもしれない訳です。

よって、難易度設定とテストプレイの手法には密接な関連があると断言できます。

ともあれ、開発とプレイヤーの間に大きな溝があると思わせてしまったこの問題を解決するには、テストプレイの手法から改善する必要があると思いますよ。

レイドをFF14の核としたいのならば、そんなやり方は非効率であり時間もない→難易度設定から間違いでした。ではなく、限られた時間の中ではありますがありとあらゆる手法で検証し自信を持って皆様にお届けすることができました。と言える位の拘りは持って頂きたいですね。
個人的にはそれでリリースが多少ズレ込んでも特に文句はありませんので。