I slutningen af 1600-tallet startede byen ved byleddet ud for nuværende Algade 6. Muligvis var der opført en port kort før 1700. Frem til omkring 1550 var byens udstrækning som i middelalderen, og den var muligvis endnu omgivet af et stakit. Hvis byen skulle vokse, måtte der gøres noget ved de lave, sumpede områder. F.eks. var hele området fra Algade 22 til Nygade en lavvandet sø eller mose. Man begyndte at fylde op med affald og drænede vandet bort via render. Syd for Brogade opsattes et lavt bolværk, og det flade strandområde blev hævet ved påfyldning af affald. Omkring 1550 havde bebyggelsen spredt sig lidt ud over det middelalderlige kerneområde, desuden mod nord, så bebyggelsen i Slottensgade var blevet sammenhængende, og mod syd langs Fiskergade. Fund i Korsør har vist, at nogle af de huse, der blev opført på sumpet grund, havde nedgravede tønder, der fungerede som sivebrønde, eller et underlag af grene, tørv og grus under husenes brostensbelægning.
I de næste hundrede år voksede bebyggelsen mod sydøst ud ad Algade og Baggade til omkring nuværende Algade 10. Muligvis har byens første torv ligget her, hvor der var en udposning af gaden nærmest af form som en trompet. Trompetformede torve kendes fra andre byer. Det var formentlig her, at borgervæbningen holdt sine øvelser. En egentlig torveplads fik byen først i 1699, da man fik kongens tilladelse til at fjerne en gammel, forfalden gård. Dette var begyndelsen til det nuværende Torvet dog uden gennembrud til Baggade.
Algade-Baggade lå faktisk på en tange med vand til begge sider. Der var dårlige betingelser for byudvikling, og en kongelig udsending tænkte da også i 1660 på at flytte byen over på Halsskov, hvor den ville ligge bedre, smukkere og bekvemmere. I 1682 gjorde byen opmærksom på, at der fandtes en hel del gårde og huse, som hvert år blev skadet ved højvande, ja nogle blev helt bortskyllet.
