同じものを使っていますが、やはりそうなりますよね。自分も時々カメラがぐるんぐるんしたり、キャラが移動後勝手に歩いて詠唱中断されたりしています。（ボタンの多さは魅力的ですけど！）
Amazonのレビューに修理方法を紹介している方がいるので、ご覧になるとよいと思います。
根本的な解決にはなりませんが、USBの差しなおしで一時的にはどうにかなりますので、参考までに。