So komisch ist das nicht. Wenn du dir den Schlüssel nimmst, bedeutet das in der Regel dass du dir gewaltsam Zutritt verschafft hast. Entsprechend sehen dich die Bewohner als Feind.
Wenn man ein Gebiet verlässt und einige Zeit verstreichen lässt, werden die NPCs in den Gebieten neu platziert, bzw zufällig gesetzte Feindgruppen meist woanders hin versetzt.
Ist ein Weg der in solchen Open-World Spielen fast immer funktioniert wenn derlei Begegenungen Probleme bereiten.