Du musst wieder in die Festung hinein gehen....im Gang befindet sich gleich links eine Tür. Diese kannst du mit dem Schlüssel öffnen und dahinter is der Hebel für das Tor draußen

Das gleiche Problem hatte ich vorhin auch und bis ich darauf gekommen bin ist schon ne Stunde vergangen