Popiežiaus Pijaus XI nurodymu, minint 700-ąsias šv. Antano mirties metines, 1931-ieji metai buvo pašvęsti šv. Antano Paduviečio garbei. Atsižvelgę į šventojo troškimą būti misionieriumi, Kretingos broliai pranciškonai nusprendė šv. Antano garbei pastatyti jubiliejinį monumentą – misionierius ruošiančią švietimo įstaigą: 1932 metais iškilo berniukams skirta gimnazija su bendrabučiu, pavadinta Šv. Antano misijų kolegija. Gimnazijos statybą aukomis rėmė išeivijos lietuviai, todėl, atsidėkodami jiems, pranciškonai pasiryžo pastatyti moderniai įrengtus prieglaudos namus, kuriuose galėtų apsigyventi iš užsienio grįžtantys senyvo amžiaus tautiečiai. Prieglaudos namai pradėti statyti 1933 m. Lietuvos pranciškonų brolijos provincijolo Augustino Dirvelės iniciatyva. Darbams vadovavo inžinierius Rapolas Žigas, statybas finansavo JAV lietuviai, joms baigti pranciškonai ėmė paskolas iš bankų. 1934 m. lapkričio 11 d. prieglaudos namai pašventinti ir iškilmingai atidaryti, pavadinti Šv. Antano rūmais.

Šiame pastate 1936–1940 m. iki sovietinės okupacijos pradžios gyveno Kretingos pranciškonų gimnazijos mokytojo Juozo Gedgaudo šeima (sūnūs – žymūs Lietuvos veikėjai: muzikologas, eseistas Edmundas bei radiologas Eugenijus).1939 m. vyko derybos su savivaldybe šv. Antano namelyje įkurti ligoninę. Iki 1939 m. Kretingos mergaitės mokėsi Klaipėdoje. Vokietijai užėmus Klaipėdos kraštą, šv. Antano rūmuose įkurtos Pranciškonų gimnazijos mergaičių klasės, kurios veikė iki 1940 m. Buvo planuojama nuo 1940 m. rudens šv. Antano rūmuose įkurti bendrabutį-pensionatą mergaitėms, kuriam būtų vadovavusios seserys pranciškonės.

1940–1941 m. šiame name buvo kalinami ir kankinami kovotojai už Lietuvos laisvę: šauliai, buvę karininkai, labiau išsilavinę žmonės. Didelę dalį kalinių sudarė mėginusieji pereiti sieną ir patekti į tuometinį vokiečių užimtą Klaipėdos kraštą bei Klaipėdos krašte pas ūkininkus dirbę karo belaisviai lenkai, belgai, prancūzai, perbėgę į Lietuvą. Manoma, kad šioje areštinėje kalėjo 23 Rainių kankiniai. Iš viso rūsiuose galėjo būti kalinama per 300 žmonių. 1989 m. remontuojant pastatą, rūsiuose po tinko sluoksniu aptikti sienose įvairiomis kalbomis įrėžti užrašai: vardai, pavardės, gyvenamųjų vietų pavadinimai, įkalinimo priežastys.

Šv. Antano rūmų pastatas turi architektūrinę, istorinę bei memorialinę reikšmę. 2003 m. jis įrašytas į Lietuvos Respublikos kultūros vertybių registrą, pripažintas valstybės saugomu objektu, 2008 m. paskelbtas kultūros paminklu.