Inde fra Kirkegården ses endnu et middelalderbyggeri sammenbygget med kirkegårdsmuren.
Det er Vor Frue Kapel; et af de meget få danske eksempler på en bevaret randbebyggelse omkring en bykirke, samt et af de få eksempler på et bolighus med helt tæt tilknytning til kirken. Det har fra opførelsen omkring 1500 sandsynligvis tjent som præstebolig, og fra reformationen af som rektorbolig; først for latinskolen, siden for fattigskolen.
Siden 1877 tjener bygningen som kapel. Det er mindre heldigt, at de tilstødende bygninger langs Adelgade er nedrevet og får dette høje, ret lille hus til at fremstå som en underlig tårnagtig bygning.
