Loadingの長さもあれですが、あれだけ読み込んだのに数歩歩くとまだＨＤＤ読み込むんですよね。
おかげでカクカクして全部読み込むまでスムーズにならないのでとてもストレスを感じます。
一度にそのエリア分を読み込んでみてはどうでしょう。（といっても限度はありますが）
Loadingは今よりさらに長くなりますが、読み込んでしまえばその後の動きはラクになると思います。

これもあわせてご検討願いたいです。