Ich rate auch nur in's blaue, die Vermutung mit dem Arbeitsspeicher hatte ich nur, weil mir der OBMM immer eine Warnung gibt, wenn ich die Kompressionsrate auf VeryHigh stelle. Und das ich dir nicht erzählt habe, dass ein Omod 7 mal so groß ist wie das Original-PI liegt daran dass es das bei mir nicht tut (im Vergleich zu den entpackten Dateien).
Von einer Maximalgröße von Omods hab ich noch nichts gehört, ist aber durchaus möglich (wird durch die Fehlermeldung nicht ausgeschlossen). Du könntest ja auch mal versuchen, die Meshes, Textures, etc. in eigene Omods zu packen.