Bybilledet blev også præget af de indkvarterede soldater, der kunne udgøre en ret betydelig styrke. I 1744 nævnes således, at der om vinteren havde været indkvarteret to kompagnier, i 1770’erne lå der en eskadron i byen, og i 1787 var her 187 mand, dvs. en syvendedel af byens befolkning. I 1800-tallet faldt indkvarteringen bort, der var dog en infanteristyrke på 25 mand i 1840’erne. Fæstningens besætning var beskeden. 1762 bestod den efter kommandantens udsagn af ”nogle og 40 herværende gamle og uduelige invalider”. Efter 1775 lå der folk fra et særligt garnisonskompagni på Fæstningen, senere bestod besætningen af et detachement fra Nyborg på en lille snes mand. Fra 1816 kom detachementet, der nu var på ca. 30 mand, fra København.