VirtualDub ist nur bedingt zu empfehlen, da es sehr primitv ist.
Als Editing- und Compositing-Tool (wonach du fragst) ist es nicht zu gebrauchen.

Was kostenloses kann ich dir da auch nichts nennen. Da musst du wohl schon in die Tasche greifen.
z.B. Ulead VideoStudio kostet ca. 90 €.
Magix Video Deluxe kostet ebenfalls ca. 90 €.
Adobe Premiere Elements kostet ca. 70 €.

Für Linux gibt es aber z.B. Kino, was aber auf dem ersten Blick doch recht kompliziert aussieht.