PC版ユーザーで同じような状態です。
PCスペックは
OS - Windows 7 64bit
CPU - Cerelon G530 2.40GHz
GPU - Geforce GTX 650 Ti(画面サイズ1280x720 ウィンドウモード)
MEMORY - DDR3 4GB
HDD 500GB

PCユーザーの中では低スペックですが、PS3よりはハード性能は高いはずです。
FATEのモンスターやNPCを表示するのが遅い以外にもいろんなことがおこってます。
移動時に足音が後ろからする、NPCの表示が遅い、時々インベントリやジャーナルを開くのにもたつくなど・・
早朝の時間帯はこういった現象が起こらないので、ワールドかエリアの人の多さが原因じゃないかと感じます。