1838 m. Babriškių kaimo kapinėse buvo pastatyta akmenų mūro koplyčia. Joje kartais būdavo laikomos pamaldos. Karo metais, 1942-aisiais, Babriškėse apsigyveno vienuolis marijonas kunigas Juozas Rakickas. Jis prie koplyčios pristatė medinę zakristiją, pastatė kuklią kleboniją. 1944 m. sudegus Varėnos I bažnyčiai, parapija laikinai persikėlė į Babriškes. Suremontuota Babriškių koplyčia virto bažnyčia.