Den mest markante bygning var kirken. Den middelalderlige Skt. Gertruds Kirke var tidligt forfalden, og det synes at have været et konstant problem, at byen ikke havde råd til at vedligeholde den. 1576-77 blev den restaureret med hjælp fra kongen og lån fra andre kirker. Kongens begrundelse for hjælpen var bl.a., at man ikke kunne være kirkens tilstand bekendt, da den lå på alfarvej. 1632 var den atter ved at forfalde og måtte have hjælp fra andre kirker.
I de næste godt 30 år undersøgtes det, hvorledes en udvidelse kunne finansieres. Denne var højst påkrævet. I 1665 nævnes, at der efterhånden ikke var plads til næsten halvdelen af menigheden. Det forårsagede ”stor trængsel til ikke ringe forargelse”. 1666 begyndte en stor ombygning, atter finansieret ved hjælp udefra og fra fornemme folk. De folk, der havde givet mere end 10 rdl., fik deres navn indhugget i soklens kampestenskvadre. En af dem var borgmester Caspar Brand, der havde været en drivende kraft ved ombygningen. Bygningen blev gjort dobbelt så bred. Indvendig blev rummet overdækket med en flad tøndehvælving i træ, der var bemalet. Gavlene fik kamtakker, og et stort sadeltag dækkede hele bygningen, så tårnet ikke længere kunne ses udefra. 1673 ønskede man at få tårnet forhøjet; men det skete ikke. Ombygningen, der ikke synes at have været særlig solid, var officielt tilendebragt i 1669, men fortsatte tilsyneladende ind i 1670’erne.
Kirken var omgivet af kirkegården med mur omkring. Begravelser foregik dels på kirkegården, dels for de fornemmes vedkommende under kirkens gulv. På den vestlige side af Kirkepladsen lå latinskolen i en bindingsværksbygning i hvert fald i sidste halvdel af 1600-tallet. Tidligere lå den sandsynligvis på slottet.