Šv. Kryžiaus Išaukštinimo bažnyčia įrengta buvusioje cerkvėje, statytoje pagal tipinį projektą. Carinės Rusijos laikais, 1894 m. buvo pastatyta stačiatikių cerkvė, skirta čia gyvenusiems kariams, jų šeimų nariams. 1922 m. perduota katalikams. 1944 m. apgriovus parapijos bažnyčią – katedrą, cerkvei buvo suteiktos parapinės bažnyčios teisės. 1998 m. liepos 5 d. bažnyčioje paskutinį kartą buvo švenčiami Švč. Mergelės Marijos Apsilankymo atlaidai. Į naująją katedrą iškilminga procesija pernešė šventųjų Probo, Pijaus, Iliuminatos ir Šv. Vyskupo Liborijaus iš Paderbornorelikvijas. Dabar jos yra katedros naujame altoriuje. Pasirašius relikvijų perkėlimo aktą, pastarąsias į altorių įdėjo dekanas kun. Vytautas Gustaitis. Bažnyčia yra būdingos stačiatikių cerkvėms struktūros ir ašinės trijų dalių kompozicijos, su varpinės bokštu virš prieangio. Virš navos kyla bokštelis su svogūno formos šalmu. Viduje dominuoja aukšta navos erdvė. Presbiterija ir vargonų choras žemesni, atskirti nuo navos pusapskritėmis arkomis. Altorius – neobizantinės stilistikos. Šventorių puošia drožinėtas kryžius su koplytėle.