Speicher des Programms lässt alles stottern

[Whiz-zarD]

es kommt da eher mehr auf die Einstellungen an, die du gemacht hast.
Verlustbehaftete Videoformate (MPEG4, h.264, ...) verbrauchen zwar weniger platz, fressen aber mehr Ressourcen und eignen sich auch nicht fürs bearbeiten.
Verlustlose Videoformate (Lagarith, CorePNG, LOCO, huffyuv, ...) hingegen verbrauchen wesentlich mehr Platz (also eine sehr große Festplatte ist von nöten!), fressen aber weniger ressourcen und eignen sich fürs Bearbeiten.

Ob das Spiel beim Aufnehmen ruckelfrei läuft, ist in erster Linie vom Rechner abhängig. Selbst das beste verlustlose Videoformat kann nichts machen, wenn die Kiste einfach zu langsam ist.
Fraps gehort mit unter zu den besten Screen-Recording Tools. Ist aber nicht kostenlos. Fraps besitzt da noch ein paar Optionen zur Optimierung der Ressourcen.
Eine kostenlose Alternative wäre CamStudio, was aber bei 3D Spielen durchaus Probleme bereiten kann, wenn die FPS stark schwangt oder zu hoch ist.

[kompy]

Hast Du mal ein paar Eckpunkte Deines Systems?

Welches Betriebssystem hast Du?
Welche CPU hast Du?
Wieviel RAM hast Du?
Wieviel RAM ist noch frei?
Wieviel Festplattenspeicher ist noch frei?
Welche Grafikkarte hast Du?
Mit welchem Programm nimmst Du auf?
In welchem Format speicherst Du das Video ab?

[Defc]

HyperCam. Funktioniert einwandfrei (kannst Du kostenlos bei Chip.de runterladen, dann nimmst Du kurz deren Toolbar, damit das Zeichen von denen auf Deinen Videos verschwindet und löscht sie wieder).