Da ich auch ziemlich unter den Problemen, die in diesem Thread angesprochen wurden, gelitten habe, habe ich mich mal ein wenig mit dem Problem auseinander gesetzt und folgendes rausgefunden:
Schuld an den massiven Leistungseinbrüchen ist nicht das Rot, sondern ein besonderer Shader, der Refraction (zu deutsch: Brechung) Shader, welches die Umwelt verschwimmen lässt; so auch bei den Obliviontoren.

Glücklicherweise lässt sich dieser Shader ganz leicht deaktivieren.
Man öffnet die Oblivion.ini im MyGames/Oblivion-Ordner und sucht nach "bUseRefractionShader" und ersetzt den Wert, der nach dem "=" kommt, durch 0. Abspeichern und voilà: Die Performanceprobleme sollten der Vergangenheit angehören.

Screenshots gibts leider nicht, da mein System bei Oblivion-Toren mit aktiviertem Refraction Shader auf subjektive -5 FPS sinkt.