Bei Virtual Dub Mod auf Streams und dort Stream List. Dort rechtsklick auf das kleine Audiosymbol und die Compression einstellen. Da kannst du dann zwischen etlichen installierten Codecs wählen. Was du für 5.1 suchst wär vielleicht der Filter AC3, hm?