各個人のキャラクターコンフィグに
 会話言語 J E F G (自分が喋れる言語)
■他言語のパーティメンバーの参加を許容する ←こういうチェックボックスがあればいいんじゃないかな?

高難易度で説明必須のダンジョンに挑む場合はチェックを外して厳密に言語をマッチングさせ、
そうでないときはチェックしてマッチングを高速化
意地でも自国語以外許さない人は常時チェックなし(但し、マッチング優先度低)でよろしいかと。