Šv. Vincento Pauliečio bažnyčia buvo pastatyta 1888 metais kaip stačiatikių cerkvė Rusijos kariams ir dedikuota carui Aleksandrui III. Tai neobizantinė, eklektinė, vienbokštė ir vienanavė bažnyčia su priestatais ir septyniais bokšteliais. Po Pirmojo pasaulinio karo Seinų vyskupas perdavė cerkvę marijonų vienuoliams, kurie ją pertvarkė į bažnyčią. Ši netrukus tapo Lietuvos kariuomenės bažnyčia, o 1940-aisiais prie jos buvo įkurta parapija. Po Antrojo pasaulinio karo bažnyčia uždaroma ir paverčiama sandėliu. Savo veiklą Šv. Vincento Pauliečio bažnyčia atnaujina 1990 metais, iki pat 1999-ųjų vyksta jos restauravimo ir aplinkos tvarkymo darbai. 2000 metais šventoriuje pastatoma skulptoriaus Juliaus Narušio skulptūra "Pieta".