NTFS ist schneller, als FAT32.
NTFS benutzt eine andere Partitonstabelle.

Und zwar werden die Dateien bei NTFS zusätzlich noch am Anfang einer Partiton archiviert. Somit brauch er nur in das Archiv schauen. und weiss, wo sich die Fragmente einer Datei befinden.
Bei FAT32 werden nur die Namen und die grössen der Dateien in die Partitionstabelle geschrieben. Dort muss er bei einer Datei die komplette Festplatte absuchen, wo sich die Fragmente befinden. Das kostet Zeit.

Ich Tippe eher auf ein Treiber- oder Konfigurationsproblem und nicht auf die Festplatte.