Rot und gelb? Klingt nicht nach Oblivion, sondern eher den ATI Tray Tools, die z. B. beim Omega Treiber oder auch dem NGO Treiber mitgeliefert werden. Aktuell mal neue Treiber ausprobiert? Da kann man in Oblivion nichts machen, das muss man außerhalb vom Spiel einstellen. Irgendwo bei den Tray Tools kann man das abstellen, ansonsten einfach die Tray Tools beenden und die FPS-Anzeige ist auch weg.

Edit: Rechtsklick auf das Tray Tool-Symbol in der Taskleiste -> Tools and Options -> OnScreen Display -> Haken bei "Enable OnScreen Display" entfernen -> fertig.