x.264 mit VDMod encoden kannst du vergessen.
VDMod benutz die VfW Schnittstelle (Video for Windows)
x.264 ist zwar VfW Kompatibel, allerdings werden dort viele Features von x.264 nicht unterstützt.
Da muss man schon zu was anderen greifen.
Am Besten ist, wenn du mal MeGUI versuchst.
Allerdings ist das Tool noch in der Beta Phase und recht verbugt.
Als erstes musst du .NET 2.0 installieren, bevor du MeGUI starten kannst.
Aber MeGUI ist nur eine reine Schnittstelle fürs Encoden. Es spricht nur die Encoder an. Du hast dort keine Möglichkeit, irgendwelche Filter einzubauen.
Es wäre sowieso besser, die Filter unter AVISynth zu realisieren.
AVISynth ist bei weitem vielseitiger, als die Filter von VDMod.
AVISynth ist ne reine Scriptsprache für Videobearbeitung.

Bei deinem ersten Problem kann ich mir nichts drunter vorstellen.
Kannst du vielleicht mal ein Screenshot mit dem Problem machen?