1867 m. miesto aikštėje iškilo stačiatikių cerkvė. Stačiatikių tikėjimo žmonių buvo nedaug, tik 1,8 proc. visų miesto gyventojų. Tai daugiausia rusų tautybės žmonės. Jie telkėsi prie Šv. Petro ir Povilo cerkvės. Nuo 1937 m., pastačius naują cerkvę stačiatikių kapinėse, čia pradėjo veikti stačiatikių centras. Bažnyčiai tada vadovavo šventikas Mikalojus Savickis. Stačiatikiai stengėsi išlaikyti senąją dogmatiką, laikėsi Rytų bažnyčios apeigų (jas atliko senąja bažnytine slavų kalba), Julijaus kalendoriaus, kuriuo vadovavosi per visas šventes. Dabar cerkvėje pamaldos vyksta tik sekmadieniais.