es kommt da eher mehr auf die Einstellungen an, die du gemacht hast.
Verlustbehaftete Videoformate (MPEG4, h.264, ...) verbrauchen zwar weniger platz, fressen aber mehr Ressourcen und eignen sich auch nicht fürs bearbeiten.
Verlustlose Videoformate (Lagarith, CorePNG, LOCO, huffyuv, ...) hingegen verbrauchen wesentlich mehr Platz (also eine sehr große Festplatte ist von nöten!), fressen aber weniger ressourcen und eignen sich fürs Bearbeiten.

Ob das Spiel beim Aufnehmen ruckelfrei läuft, ist in erster Linie vom Rechner abhängig. Selbst das beste verlustlose Videoformat kann nichts machen, wenn die Kiste einfach zu langsam ist.
Fraps gehort mit unter zu den besten Screen-Recording Tools. Ist aber nicht kostenlos. Fraps besitzt da noch ein paar Optionen zur Optimierung der Ressourcen.
Eine kostenlose Alternative wäre CamStudio, was aber bei 3D Spielen durchaus Probleme bereiten kann, wenn die FPS stark schwangt oder zu hoch ist.