Klicke in der Menüleiste auf "Format" -> "Page..." und hast in dem Fenster, das sich öffnet, die beiden Registerkarten "Header" und "Footer". Da findest du das, was du suchst.
Nur sehen die einzelnen Registerkarten anders aus, je nach dem, ob du aus einem "Writer-Dokument" (Texte) oder "Calc-Dokument" (Tabellen) heraus das aufrufst.