ähm, x264 ist ein Encoder und kein Decoder.
mit x264 erzeugst du h264 Videos.

Und VLC spielt die h264 Videos ab. Wobei ich VLC nicht empfehlen kann.
.rar Dateien musst du erstmal entpacken. Das ist ein komprimierungsformat
Entpacken kannst du das entweder mit winrar oder mit einem kostenlosen tool 7zip