ハラスメント者に報復される可能性という点では、除名を成立させるのも被害を受けた側が退出するのもギブアップを成立させるのもあまり変わらないかと思います。

「俺がハラスメントを楽しんでいたのに、◯◯しやがった」の中身が変わるだけ。