別のUSBポートに差し替えても改善しないでしょうか？
経路を共有する別のポートに繋いでいる別の機器と競合して、動作が不安定になる事がありますよ。

当方機器は違いますが、そのような症状を経験済みです。
別のUSBポートに差し替えたら、ピタッと収まりました。

恐らく一経路に供給できる合計消費電力量を超えていたのだと思います。