In de Kloosterstraat woonden destijds de Fraters van Tilburg. Zij gaven onderwijs op de Goirlese jongensscholen en leidden hier ook jonge fraters op. De Duitse troepen gebruikten dit Fraterhuis lange tijd als commandopost. Tijdens de beschietingen van oktober 1944 werd de kelder onder het klooster (nu onder de bibliotheek) gebruikt als schuilplaats. Hier overleden enkele Goirlenaren, die gewond waren geraakt door de granaten. In de kelder werden ook enkele kinderen geboren.
Na de bevrijding van Goirle werd het hek van het Fraterhuis versierd met afbeeldingen van leden van het Koninklijk Huis. De bevrijders, veelal van Schotse afkomst, betrokken dit gebouw. Tevens werd hier medio november 1944 een militair hospitaal gevestigd waar 18 dokters en ca. 150 mannen en vrouwen in uniform de bezetting vormden. Veel militairen, die bij gevechten langs de Bergsche Maas (bij het Capelse Veer) gewond raakten, werden voor verpleging naar dit Militaire Hospitaal in Goirle gebracht. Een aantal van hen overleed hier en werd begraven op de begraafplaats van St. Jan aan de St. Jansstraat. Dit verklaart de overlijdensdatum na de bevrijding van Goirle op hun grafsteen.
Al vele jaren is hier nu de Goirlese bibliotheek en het Cultureel Centrum Jan van Besouw gevestigd.