Der var store sociale forskelle i byen. Da der skulle betales et ekstraordinært krigsstyr på 305 rdl. i 1710, viste takseringen, at tre personer kunne betale en fjerdedel af beløbet. Det var provsten og to købmænd, der tillige var henholdsvis borgmester og rådmand. I alt syv personer tegnede sig for to femtedele af de 305 rdl. De skulle betale 10 rdl. eller derover, og her kom der en købmand og tre parthavere i færgefarten med. 35 skulle betale under 1 rdl., og 28 var så forarmede, at de intet kunne betale.
Senere i perioden ses de samme sociale forskelle. Der må have været et svælg mellem Algade nr. 14 og Snukkerupgade nr. 10 i 1845. I Algade nr. 14 boede købmand Nyeland med kone, husjomfru, 2 tjenestepiger, 1 handelsfuldmægtig, 1 handelsbetjent, 3 handelslærlinge og 9 tjenestekarle. I Snukkerupgade nr. 10 var der fire husstande. I forhuset boede en fyrbøder på dampskibet med kone og barn og en enke, der levede af håndarbejde, med to voksne børn. I baghuset var der en daglejer med kone og to børn samt endnu en daglejer. Han var enkemand med to børn og havde en husholderske også med to børn. Mange af håndværksmestrene og købmændene havde svende og lærlinge boende. Det kunne også forekomme, at man havde en gift tjenestekarl, hvis kone og eventuelle børn boede et andet sted i byen.
Byen havde en lille overklasse, der bestod af velhavende købmænd og højt rangerende offentligt ansatte. Herunder var der en middelklasse, der udgjordes af handlende, håndværkere, møllere, gæstgivere, skippere og offentligt ansatte i mindre bestillinger. Nederst var underklassen med daglejere, søfolk og fattige. Antallet af fattighjælpsmodtagere angives til ca. 20 i tællinger fra 1771, 1801 og 1845; men det har nok været større i 1800-tallets første del. I 1840 opgives det til 56. Fattige børn blev sat i pleje mod betaling.
Allernederst i det sociale hierarki stod slaverne på Fæstningen. Det var en forhutlet flok, der var dømt til strafarbejde. Deres antal svingede meget, i slutningen af 1750’erne var her 20-30 stykker, i 1801 kun 3, og mange af dem var ”dels krumme og lamme dels så udlevede, at de ikke kan gøre Fæstningen nogen tjeneste”.