Zum ersten Problem kann ich nicht viel sagen, da ich mir ohne Screen nicht besonders viel drunter vorstellen kann.
VDM kann selbstverständlich ein Video auch in x.264 codieren, allerdings unterstützt avi dieses Format nicht, du greifst also besser auf mkv als Container zurück.