無言で除名投票が行われた場合、話し合う必要がないほどパーティメンバーのプレイを妨害する動きであればそのまま可決されるでしょうし、
メインルレで明らかに放置しているなどの迷惑プレイヤーがいたら報復目的で最終ボス近くで除名する話も聞いたこともあります。
ともあれ、双方の言い分を聞いてみないことには実際どのようなプレイングだったのかは一プレイヤーにはわからないし、
不正な除名かどうかジャッジするのはGMの仕事なので、GMに報告したほうが良いかと思います。