Das ist keine Spielerei, sondern eine bewährte Strategie und wird zum Beispiel so in der Referenzbibliothek Loki implementiert.
Dass du über die Spielobjekte im ersten Vektor iterieren willst, kann ich irgendwie nicht ganz nachvollziehen, da du immer auch über alle nicht belegten Stellen iterieren würdest.
Verwende weak references.