Nach der größe, die VirtualDub anzeigt, kannst du nicht gehen.
Was hast du den alles eingestellt?

Ist überhaupt der Fast Reompress, Normal Recompress oder Full Processing Mode aktiv.
Nachschauen kannst du das unter Pop-up Menü Video.