ふと思ったのですが、フルスクリーンでプレイ中に裏で何かがポップアップしていたとかありませんか？
久しく不具合発生はしていなかったのに、今日たまたまそんな状況（フレームレート低下）に出くわしてしまい、タスク切り替えてみたら裏でタスクバーから通知がポップアップしていた、ということがありました。
それを表示しないようにしてからは起こらなかったので、一度確認してみるといいかもしれません。