Pagal architekto A. Lukošaičio projektą 1939 m. šalia senosios miesto ligoninės išaugo trijų aukštų, pagal funkcionalizmo stilių statytas, sudėtingo "H" raidės formos plano, Marijampolės apskrities ligoninės rūmų pastatas. Naujoji ligoninė buvo moderni ir aprūpinta naujausia technika: įrengta pagal visus tuometinius medicininius reikalavimus, turėjo 80 lovų, todėl buvo žymiai didesnė už savo pirmtakę ir galėjo hospitalizuoti kur kas daugiau ligonių. Iki šių laikų medicininę paskirtį išlaikęs pastatas yra valstybės saugomas architektūrinio paveldo objektas.

Naujieji Marijampolės apskrities ligoninės rūmai ribojosi su Ligoninės gatve (dab. Šv. Margaritos g.), kuri ilgainiui nunyko ir tapo parko dalimi. Šioje gatvėje dažnai mėgdavo pasivaikščioti stacionare gydomi ligoniai. Tik po kardinalios parko rekonstrukcijos 2012 m. buvo atkurta važiuojamoji gatvės dalis (tarp P. Kriaučiūno ir P. Armino gatvių), o 2013-04-29 jai suteiktas Šv. Margaritos vardas.

Marijampolės apskrities ligoninė nuo 1955 m. buvo pavadinta Kapsuko centrine ligonine. 2011–2012 m. restauruota: senas tinkas pašalintas, užtinkuotas naujas restauracinio sanuojamojo tinko sluoksnis. Pažeistos plytos pakeistos naujomis ir atlikti kiti istorinio pastato atnaujinimo darbai. Šiuo metu čia įsikūręs Marijampolės pirminės sveikatos priežiūros centras, Psichikos sveikatos skyrius

Šv. Margarita – ligonių, gimdyvių, vargšų ir našlaičių globėja. Šv. Margaritos vardu XVIII a. pab. buvo pavadinta senoji miesto ligoninė.