Ich denke mal nicht, dass 3Ds Max n-th Pass encoding unterstützt.
Das Ruckeln kommt wohl zustande, dass 3Ds Max das Video unkomprimiert speichert.
Dadurch erhält man keine Kompressionsverluste und man kann das Video ohne weiteres weiterbearbeiten.
Ich würde dir daher empfehlen, das Video unkomprimiert zu speichern und danach mit VirtualDubMod re-encoden.
Am besten nimmst du dafür dann den XviD Codec.