Puh, hab schon langer nichtmehr ausgiebig den IE benutzt.
Wie hast du denn versucht die Dateien zu löschen? Direkt im Verzeichnis der "Temporary Interner Files"? Im Verlauf deines Browsers oder über die Optionen von IE?
Hmh... vielleicht können nur Dateien gelöscht werden auf die nicht gerade zugegriffen wird. Allerdings dürften jene Dateien die nicht gelöscht werden können dann nur sehr wenige sein.
Reboote also mal deinen PC, geh zu dem Cache-Ordner (bei mir liegt der hier: CWINDOWS\Temporary Internet Files) und lösche den Inhalt per Hand.
Sollte das auch nicht gehen, versuch Windows im abgesicherten Modus (Weiß leider gerade auch nicht wie man da reinkommt) oder von der Installations-CD zu booten, dann dürfte theoretisch absolut kein Grund bestehen weshalb die Dateien nicht zu löschen sind.