Tårnborg skilte sig imidlertid ud fra bondesamfundet. Antagelig Valdemar den Store byggede en borg på nordøstsiden af Korsør Nor samtidig med og meget lig borgen på Sprogø. I 1200-tallet kom kirken til, og fra midten af 1200-tallet og hundrede år frem lå en blomstrende handelsplads neden for kirken. Stedet fungerede som overfartssted og havn for oplandet. Politisk havde stedet også betydning, navnlig under Erik Menved (1286-1319) i hans kamp mod de fredløse, og under hans efterfølger, Christoffer II (1320-26 og 1330-32), blev borgen muligvis ødelagt i 1326.