hast du überhaupt den Decoder installiert?
Lad dir mal Real Alternative runter und installiere es
Danach sollte dein PC in der Lage sein, rmvb abspielen zu können.
Dann kannst du es mit AVISynth und VirtualDubMod konvertieren.