Du kannst getrost erst die Höhlen ablaufen. Sämtliche Nebenquests ab dem Zeitpunkt sind bis zum Ende verfügbar
Von der Schwierigkeit her ist es sogar besser, wenn du erst das mit den Höhlen machst, dann hast du es später einfacher ^^