Slottet lå egentlig uden for selve byen. Adgangen til slotsområdet skete ad en smal forbindelsesvej på en dæmning. Ved storm fra sydvest og vestsydvest stod havvandet ind over vejen. 1609-11 opførte Christian IV det store magasinhus, 56 m langt og 11 m bredt. Allerede i 1606 havde han bestilt tømmeret på Gotland, 300 bjælker, deraf de 120 til spær og de 60 til de nederste hanebånd, desuden 100 tømmerstokke og 4.000 lægter. Tømmeret skulle føres til Korsør i foråret 1607. Magasinet skulle rumme korn på loftet og ammunition i kælderen.
Omkring 1610 nævner regnskaberne følgende lager- og arbejdsrum på slottet: Rugloft, maltloft, flæskeloft, smørkælder, ølkælder, saltkælder, fadebur, bryggers, stegers, melhus, vedhave, stald, skriverstue og skole. Desuden var der opholdsrum. 1631 nævnes følgende bygninger på området: To store gamle stenhuse med kongens og dronningens sal samt lensmandens stue, en bindingsværksbygning med halvtag, der rummede kongens køkken, et hus i borggården med kongens borgestue, et langt bindingsværkshus til opbevaring af kalk, et bindingsværkshus med bryggers, en bindingsværksbygning på 24 fag med kongens stald, et hus med skriverstue og et hus med lensmandens køkken. Tårn og magasinbygning er tilsyneladende ikke medtaget. Omkring 1675, hvor slottet var blevet en fæstning, var der foruden slotsbygningerne kornhuset dvs. magasinbygningen, kommandantens bolig, stalden, tårnet, vagtbygningen og porten.