Wieso schickst du dem Server noch zusätzlich die IP-Adresse vom Client mit?
Für gewöhnlich baut das TCP-Protokoll selbst die Verbindung auf, da die IP-Adresse im Header des Datenpakets steht.
Die Indy Komponente baut ja ein Socket auf, mit der du dann zwischen Netzwerkschnittstelle und Anwendung kommunizieren kannst.
Du sagst dann also im Client nur "Baue mir eine Verbindung nach B auf". Wenn dein Server läuft und ein Socket gestartet wurde, bekommst du dann automatisch die Daten von der Netzwerkschnittstelle und musst nur auf die Daten reagieren. Wenn du Daten vom Server an den Client schicken möchtest, tust du das eben über den Socket und nicht über die IP-Adresse. Die Netzwerkschnittstelle weiß dann schon, wohin er die Daten schicken soll.

Es ist klar, dass Spieler A nicht die benötigte IP-Adresse ermitteln kann, da zwischen Spieler A und B beliebig viele Netzwerke zwischen liegen können und Spieler A nur seine lokale IP-Adresse ermitteln kann.