vB verwendet glaubich Java für seinen Editor.
Du kannst versuchen, mit JavaScript und CSS etwas hinzubekommen, aber ich denke mal, dass es schwer ist, das in allen Browsern zum Laufen zu bekommen. Es geht schonmal damit los, dass du für WYSIWYG kein einfaches <textarea />-Feld nehmen kannst, weil in dem keine Formatierungen erlaubt sind.
Du musst also jede Taste mit JS abfangen, und das klappt schonmal nicht in allen Browsern, weil die ja ihre eigenen Tastenkombis haben.
Ich denke mal, dass du ohne Java (oder vielleicht Flash) keine reelle Chance haben wirst.