Ich versteh nicht, was du meinst, aber wenn ich dich richtig verstanden habe, dann muss immer ein Delta der Mauszeiger-Position ermittelt werden, den du dann auswertest.
Vielleicht kann man auch einen endlichen Automaten bauen, der durch Mausbewegungen seinen Zustand ändert, und dann bei einem bestimmten Zustand den Pop-Up auslöst.

Ich weiß aber nicht, wofür man sowas für eine Webseite benötigt. Mir persönlich gehen eh schon diese Warnhinweise, einiger Webseiten, auf den Sack, wenn man ein Tab schließen möchte. Das zeigt eine gewisse unseriösität, da man letztem Endes überhaupt nich weiß, was passiert, wenn man auf die Buttons klickt.