Es gibt eine x.264 Version für die VfW-Schnittstelle.
Allerdings ist diese Version nur sehr stark an den Optionen begrenzt, weil diese sich an die Referenzen der Schnittstelle halten muss.
Dadurch leidet die Qualität.
Deswegen wird diese Version nicht empfohlen und auch nicht weiterentwickelt.

Wenn du das x.264 Format richtig nutzen willst, dann empfehle ich dir das Programm MeGUI. Dies arbeitet aber ausschliesslich mit AVISynth Scripten.
Es kann auch mit AVI Dateien arbeiten, allerdings stürzt meist dann das Programm ab.
Das Programm befindet sich immernoch in der Beta Phase und leidet deswegen noch recht stark Abstürzen.
MeGUI ist nur fürs reine Encoden gedacht. Also anders, wie bei VirtualDub(Mod) kann man dort das Video nicht beliebig schneiden oder mit einigen Filtern versehen. Diese Aufgabe soll nämlich AVISynth übernehmen.