Schonmal Fraps versucht?
Ist aber Shareware.

Aber fang nicht damit an, dass Video sei zu groß.
Fraps benutzt einen Hauseigenen lossless Codec.
Die Videos musst du dann selber re-encoden.