A Rátót nembeli Olivér birtokcserével 1380 körül szerzi meg Paks környékét, és ettől kezdve Paksynak is nevezi magát. A Paksy család 1418-ban alapítja meg a ferences kolostorát. A temploma Szűz Mária tiszteletére volt szentelve. A kolostort hamarosan az ozorai alá rendelik, de jelentőségét mutatja az a tény, hogy 1491-ben illetve 1507-ben is rendi gyűlés színhelye lesz. 1530-ban a Paksy család, majd nem sokkal később 1537-ben a ferences rend is elhagyja Paksot. A rend 1752-ben visszatér Paksra, ahol egy viszonylag szerény épületet vesznek meg, majd ehhez egy kápolnát építenek, amit 1759-ben szentelnek fel. A rend nem sokáig működhet Pakson, mert II. József alatt a kolostort 1789-ben felszámolják. Az épületet az új birtokosai - a Vigyázó család - kúriának építi át. Ma ez az épület a Városi Múzeum. A Városi Múzeum kőtára őriz néhány gótikus kőfaragványt, ami az egykori ferences kolostorból is származhat. A kövek másodlagos beépítésből, a Kornis-kúriából kerültek elő.
Levélindás díszítéshez kapcsolódó románkori oszlopfejezet és római, indás motívumos kőből faragott 13.századi oszlopfejezet.
2000 legvégén a Paksi Városi Múzeum gondozásában megjelent a kőtár anyagának tudományos igényű feldolgozása. Beszédes József itt közölt megállapításai szerint a kőtár románkori és kora gótikus anyaga Kalocsáról eredeztethető. Tudjuk, hogy a törökök a romos kalocsai székesegyház köveit is felhasználják Pakson, a ferences kolostorok épületének megerősítéséhez. A kalocsai anyag egy része még a római korra vezethető vissza. Ebből a korból származik az általunk bemutatott alakos torzó is (jobbra). Búzás Gergely a gótikus jellegű emlékek korát a XV. század végére tette, eredetüket a paksi ferences kolostorból véli. Érdemes megemlíteni azt is, hogy a gótikus faragványokat Takács Imre szintén tárgyalja egy friss publikációjában. Takács Buzással ellentétben közel egy évszázaddal korábbra teszi eredetüket, és Kalocsáról származtatja ezeket is. Búzás Gergely állításai azonban megalapozottabbnak tűnnek, mivel ő forrásokat is tudott találni annak igazolására, hogy a XV. század végén jelentős építkezések színhelye lehetett a paksi kolostor. Búzás a volt ferences kolostor helyének behatárolásával is megpróbálkozott, és azt a mai általános iskolaként használt Daróczy és Kornis kúriák helyén véli.