1. Videoinhalte demuxen
Das bedeutet, dass du die Videos in ihre Bestandteile zerlegst.
Für MP4 Dateien gibt es MP4Box. Wenn du mit Kommandozeilenbasierte Tools nicht klar kommst, gibt es für MP4Box die GUI "Yamb".
Für MKV Dateien gibt es MKVExtract, aus dem MKVToolnix Paket. Hierfür gibt es die GUI "MKVExtract GUI" (AFAIR kann auch MP4Box benutzt werden)
Für AVI kann könnte man VirtualDubMod verwenden.

2. Videoinhalte muxen
Das bedeutet, dass aus den einzelnen Videoinhalten wieder ein komplettes Video macht.
Für MP4 kann man ebenfalls MP4Box verwenden.
Für MKV gibt es MKVMerge, aus dem MKVToolnix Paket
AVI würde ich hier nicht empfehlen, da es zu Inkompatibilitäten kommen kann.