wenn das bild zu hochauflösend ist, kann es sein, dass der prozessor und/oder die Grafikkarte da nicht hinterher kommt. HD Videos kann ich auf meinem P4 1,8ghz auch nicht sinvoll gucken.
Du kannst versuchen, den cache zu vergrößern, dann sollten die ruckler zumindest seltener werden.

außerdem, versuch mal mplayer und gstreamer, kann durchaus sein, dass die dortigen decoder besser und/oder schneller sind.