Bei alten Direct3D-Anwendungen (Wie RPG_RT eine ist) liegt das normaleweise daran, wenn irgendein störendes Fenster offen ist. Schließe alle Programme, so dass nur noch der Desktop sichtbar ist und probiers nochmal.

Ansonsten hilft evtl. Rechtsklick auf RPG_RT -> Eigenschaften -> Kompatibilität -> Win95 oder "640x480 erzwingen".