Ich würde sagen, jetzt ist dein Problem, dass du als Output einen Ordner und keine Datei angegeben hast. Keine Ahnung, welches Format dein Stream hat, aber probier mal was in Richtung

mplayer -dumpstream rtmp://rtl-now.rtl.de/familienimbrennpunkt.php?film_id=18444&player=1&season=2&na=1 ~/Desktop/dump.mpeg