Het Oud Gasthuis of O.L.V. Gasthuis (ook wel een passantenhuis genoemd) werd rond het midden van de 13^de eeuw gebouwd.  Sommige denken dat het Gasthuis ontstaan is op hetzelfde moment als de markt is gebouwd. Wie de stichter was van het Gasthuis is niet geweten. Sommigen denken dat een hertog het Gasthuis heeft laten bouwen. Een andere mogelijkheid is dat het gasthuis gebouwd is met donaties van de gelovigen.

In het begin werd in het Gasthuis onderdak verleend aan mensen die hulp nodig hadden (bv. daklozen) en voorbijgangers dat een slaapplaats zochten (passanten). Geleidelijk aan veranderde dit naar de verzorging van zieken. Vooral na een pestepidemie op het einde van de middeleeuwen (de pest was een dodelijke ziekte die eeuwenlang in Europa voorkwam. De ziekte was zeer besmettelijk en kon tot miljoenen doden leiden. De ergste plaag was in 1348, toen een derde van de Europese bevolking stierf aan de besmetting).

De  jaren daarna werd ziekenverzorging de belangrijkste activiteit van het Gasthuis en minder het opvangen van voorbijgangers.

In het begin van de 17de eeuw raakte het gebouw vervalen door problemen tussen verschillende godsdiensten. Zo was de kapel op dat ogenblik in gebruik als herberg (een plek waar mensen kunnen overnachten). Grondige herstellingswerken waren dringend nodig. De verbouwingen gebeurde in verschillende fasen. Allereerst werd werk gemaakt van het dak en de kapel, waarvan de muren en het dak werden hersteld.

Een nieuwe herstelling kon pas jaren later nadat ze geld kregen van een barones. Zij plaatste ook zusters (vroegere verpleegsters) in het Gasthuis. Van dan af was er terug ziekenzorg  en werd het Gasthuis verder uitgebouwd door religieuzen die ook zorgen voor onderwijs.

De zusters verklaarden dat ze de kapel, de ziekenkamer, de keuken, de zaal en de refter aantroffen in slechte toestand. De zusters zorgden voor renovaties en de bouw van de apotheek en de kamer van de pastoor. Daarnaast werd door de zusters ook een nieuw hoeve gebouwd, maar over het uitzicht en de juiste ligging van deze hoeve zijn geen verdere gegevens bekend. Geleidelijk zou het gasthuis uitgroeien tot een echt ziekenhuis dat een sterke bloei kende.

Het huidige uitzicht verwierf het Gasthuis grotendeels in de 18de eeuw, dit met de hulp van pastoor Guilielmus Ignatius Offhuys. In 1706 liet hij kasseien aanleggen om de toegang tot het Gasthuis te vergemakkelijken. Daarna was er een uitbreiding, werd de boerderij vernieuwd en werden een schuur, varkensstallen en een nieuwe stal gebouwd.

Tijdens de Franse Revolutie (Franse Revolutie (1789-1795) was een opstand van het volk, dat zich onderdrukt en uitgebuit voelde, tegen het gezag van de Franse koning), meer bepaald in 1798 werd de rechtervleugel ingepalmd door de gendarmerie (een dienst die algemene politietaken uitvoert en een onderdeel van het leger is).

In de periode 1834-1840 werden de gebouwen nogmaals hersteld en licht gewijzigd; in deze periode hebben ze waarschijnlijk de kapel groter gemaakt. Het landbouwbedrijf dat aan het gasthuis verbonden was werd niet meer gebruikt en de hoevegebouwen werden bijna volledig gesloopt.

In 1922 openden de gasthuiszusters de Heilig Hartkliniek (nu het OLV-ziekenhuis) op de Markt; hierdoor verloor het gasthuis zijn functie als hospitaal en deed het enkel nog dienst als verzorgingsinstelling voor bejaarden tot in 1970, toen het definitief gesloten werd. Na de sluiting werden de gebouwen gebruikt als politiecommissariaat, opslagruimte van de civiele bescherming, bureaus en ateliers van de gemeentelijke cultuurdienst. In 1952 werd een deel afgebroken voor de bouw van het Vredegerecht (nummer 27).

Vanaf 1988 werden werken uitgevoerd aan de noordelijke vleugel en werd de kapel vernieuwd en beschilderd. De binnenafwerking moest wachten tot 2002.

In 2004 werden de noordelijke vleugel en de kapel van het O.L.V. Gasthuis gerestaureerd en ingericht als cultuurcentrum. De zuidelijke vleugel, met onder andere een unieke apotheek, wacht op restauratie