Kann dir so auch nicht sagen, ob deine Formeln die richtigen sind.
Also generell müsst ihr euch bei 2D 4 Punktepaare (x_i und x'_i) suchen, die nicht kolinear sind und die Matrix H ausrechnen für die gilt x'_i = H*x_i. Die mappt euch dann einen Punkt auf dem einen Bild auf einen Punkt auf dem anderen. Dafür braucht ihr die Design Matrix aus der ihr mit Singular Value Decomposition die Werte von H berechnen könnt. Und mit x'_i = H*x_i könnt ihr dann halt überprüfen, ob ihr richtig gerechnet habt.
Wichtig war noch, dass ihr die Punkte vor dem Rechnen ensprechend vorbereitet (müsst denn Schwerpunkt der Punkte auf den Mittelpunkt des Koordinatensystems legen und dann die durchschnittliche Distanz der Punkte auf 1 bringen) und das ganze am Ende natürlich wieder rückgängig macht.
Die Formeln müssten eigentlich alle bei Wikipedia stehen wenn du nach den ganzen Begriffen suchst. Ansonsten adde mich in irgendeinem Messenger, will das nicht alles hier ins Forum schreiben.^^