Das, was du wohl meinst, nennt sich Interlace.
Ich gehe dann mal davon aus, dass du ein Film von einer DVD, eines Camcorders oder ähnliches encoden willst.
Das liegt nicht an VirtualDub. Das liegt am Video selbst.
Dieses Video musst du dann deinterlacen.
Unter www.100FPS.com kannst du nachlesen, was Interlace ist und wie man es "bekämpfen" kann.

Alternativ kannst du auch AVISynth mit dem Decomb Package benutzen.
Der Deinterlacer "Fielddeinterlace" vom Decomb Package arbeitet sehr gut.