På højre side af Torvets udmunding i den firkantede rundkørsel, Volden, hvor slottets ladegård lå helt indtil 1960-erne, ligger Asylet.
Kommunen overtog dette "asyl for børn af uformuende forældre"(opført i 1840-1) i 1866, og huset rummer nu byens turistkontor. Idag ville en tilsvarende institution blive kaldt en vuggestue og børnehave. Inskriptionen over døren angiver datoen 22/5 1840(Christian VIIIs sølvbryllupsdag), men bygningen er først indviet året efter. Datoen angiver i stedet foreningens stiftelsesdato. Initiativtager var malerinden Marianne Stub(som boede i Ole Lunds Gård), men forkvinde blev lensgrevinde Cathrine Wilhelmine Dorothea Lerche né von Krogh. Stub var født på Ladegården, og lensgrevinden var gift med den tidligere ejer, så placeringen af Asylet med Ladegården som nærmeste nabo var næppe tilfældig. Ved ombygningen til turistkontor er praktisk talt hele det indre udskiftet.
På den anden side af Højbyens port afslutter Motorkontoret husrækken.
Huset er kun et år yngre end Asylet på den modstående side.
Vi fortsætter lige ud og kommer derved for en kort bemærkning udenfor byjorden.
