Für was soll den deine Engine eingesetzt werden und welche Sprache willst du zum Schreiben verwenden? Das sind zwei wichtige Fragen die geklärt werden sollten bevor wir irgendwelche Hilfestellungen geben könnten.

Ansonsten, ganz allgemein, anfangen tut man wie immer in einem Programm, indem man den Quellcode schreibt.