少なくともmanaではそういう一団は見ないので分かりませんがそういう一団がいたのであれば素直に退出→他の島へ移動の方が互いの為だと思います
基本的にキャシーを沸かそうとしている一団は１つの島に集中しているので、よっぽど嫌なのであればそれ以外の島(2〜3島は常に出来ている)に移動した方がよいでしょうね