Also meine spontane Lösung wäre folgende:

Bei einer links-rechts-Auswahl würde ich, wenn ich nach rechts will, erst einmal die kürzeste Distanz zum nächsten auf der rechten Seite ermitteln.
(Was links und rechts liegt wird man wahrscheinlich über positive und negative X-Differenz ermitteln. Das wäre eine einfache Abfrage.)
Die Distanz würde man über den Satz des Pythagoras ermitteln, mit dem XP/VX ja ohne weiteres umsetzbar.
Bei einer gleichen Distanz müsste man dann erst einmal den mit dem geringsten Abstand auf der X-Achse ermitteln, schließlich will man ja nach rechts und erwartet den anzuvisieren, der dann die kürzeste X-Distanz hat.
Bei gleicher Gesamt- und X-Distanz würde ich dann einfach von oben nach unten gehen, schließlich lesen wir ja auch von oben nach unten und haben deshalb wohl auch dieses Denkmuster.

Kurz:
Wenn nach rechts, dann -> kürzester Sqrt(x²+y²)-Abstand (-> kürzester X-Abstand (-> Y von oben nach unten)) -> Nächster gefunden

Insgesamt wohl weniger Mathematik, sondern mehr Abfragen.