難しく考えなくても、GMがやめてって言ったらやめる。
これだけがハッキリしてればイイと思います。

GMやめてって言う
↓
対象者やめる
↓
案件について話し合う

正しい流れではないかと思います。
とはいえ、話し合いにGMがどれだけ付き合ってくれるのか、気にはなりますけど。(話し合いしてるのかね？)