Få byer er blevet født med deres vartegn. Kalundborg er en undtagelse. Den særprægede, femtårnede kirke er bygget samtidigt med den første befæstning - den der var forudsætning for byens opståen.
Selvfølgelig blev kirken ikke bygget i en håndevending eller helt uden ændringer undervejs, men sådan nogenlunde. Grundplanen er som et græsk kors, hvilket bedre ses af nedenstående:
Tilbygningen mod sydøst blev nedrevet ved den gennemgribende restaurering sidst i 1800-tallet, hvor tårnene samtidigt blev tilbageført til næsten identisk snit, hvilket tidernes løbende reparationer havde sløret. Midtertårnet styrtede ned 7/9 1827 og blev genrejst 1867-71 ved Vilhelm Tvede. Hele tårnarrangementer mangler paralleler men kan være inspireret af Markuskirken i Venedig, hvor de dog afsluttes af løgkupler.
Den nordøstre tilbygning er det to-etages sakristi fra 1400-tallet.
