1936 m. kunigas Pijus Andziulis, Marijampolės marijonų namų vyresnysis, buvo iškviestas pas ligonį į Skardupių kaimą. Prasti keliai pagimdė mintį pasiūlyti šioje vietoje statyti bažnyčią ir įkurti parapiją. 1937 rugsėjo 6 d. architektas Romanas Steikūnas parengė Skardupių bažnyčios su varpine projektą (varpinė liko nepastatyta). Tuomet Skardupių kaimo jaunimas, sužinojęs apie būsimos bažnyčios statybą, parengė vaidinimą "Kuprotas oželis" ir, sukvietęs daugybę žmonių, suvaidino Leonų sodybos klėtyje. Surinkti pinigai buvo paskirti būsimos bažnyčios pamatams. Bažnyčia statyta parapijiečių lėšomis ir rankomis.

1940 m. pabaigoje įkurta Skardupių parapija, o po metų naujoje bažnyčioje pradėtos laikyti Šv. Mišios. Tai vienintelė Lietuvoje bažnyčia, pastatyta ir pašventinta pirmaisiais sovietų okupacijos metais. Vokiečių okupacijos, Antrojo Pasaulinio karo metais buvo pastatyta mūrinė klebonija, ūkinis pastatas ir parapijos namai su sale. Visas statybas organizavo klebonas Antanas Ylius, 1945-aisiais nuteistas 10 m. kalėti. 1945 m. vasarą kun. A. Ylius – Vilkas, V. Gavėnas – Vampyras, J. Pileckis – Brokas ir A. Ratkelis – Oželis įkūrė partizanų "Tauro" apygardą. 1945 m. rugsėjo 16 d. įsteigtas Lietuvos Išlaisvinimo Komitetas (LIK). Čia vyko jo posėdžiai. 1945 m. spalio 12 d. Skardupių klebonijoje įvyko paskutinis LIK posėdis.