Schonmal nen anderen Player versucht?

Das Problem ist halt, dass der im libavcodec (eine in ffmpeg enthaltene Codecsammlung, auf die VLC zurückgreift) enthaltene codec fürs Abspielen von h.264 Videos sehr Ressourcenlastig ist.
Besser ist der CoreAVC Codec. Allerdings ist der nicht kostenlos. Das besondere an CoreAVC ist, dass er die Nvidia Cuda GPU-Beschleunigung unterstützt und somit vieles über die Grafikkarte berechnet.

Was du ausprobieren könntest, wäre CCCP zu installieren und mal versuchen, mit dem Media Player Classic das Video zu öffnen.
Wie gesagt, VLC ist nicht die eierlegene Wollmilchsau.