Das mit dem "nur gelegentlich" starten ist seltsam...bis jetzt habe ich noch keine Mod gehabt, die so etwas verursachte. Vielleicht solltest du Oblivion noch einmal neu installieren.
Das die Anzahl der Mods Schuld sein soll, kann ich mir ehrlich gesagt nicht vorstellen, da ich über 200 esp. aktiv habe und keine Probleme.
Vielleicht solltest du deine Mod's einmal auflisten und falls auch eine vollkommene deaktivierung aller Mods nichts bringt, Oblivion neu installieren.