Remiantis radiniais, XIX a. Ukmergės planais ir architektūrine analize, "žydų pirtis" galėjo būti pastatyta XIX a. pradžioje. Tai vienas pirmųjų paminėtų mūrinių pastatų Ukmergėje (1812 m.). Spėjama, kad jis galėjo kartu būti ir žydų maldos namai (vadinamieji "Vežikų"), juolab, kad pagal žydų tradiciją, maldos namuose būdavo rengiama mikvah.

1890 m. šaltiniuose aprašoma žydų bendruomenei priklausiusi pirtis: "ant aukšto Vilkmergėlės kranto yra didelis viešas šulinys, kuriame yra labai geros kokybės vanduo. Šio šulinio vanduo tiekiamas vienintelei miesto pirčiai, stovinčiai ant Vilkmergėlės kranto. Ši pirtis - vienaaukštis, skarda dengtas mūrinis pastatas, įrengtas kaip rusiška pirtis, išskyrus tai, kad moterų skyriuje yra žydų ritualui, taip vadinamam "mikvojui", reikalingas įrengimas (specialus baseinas, skirtas apsivalymo ritualams). Iš visų pirties skyrių vanduo teka per medinius lovius, kuriuose įrengta po 2 poras grotelių, išteka į Vilkmergėlės upelį. Vanduo filtruojamas žvyru".

Mikvah daugiausiai buvo naudojamas žydų vyrų pasinėrimui, taip mėginant pasiekti ritualinį apsivalymą; žydės privalėjo pasinerti į mikvah po menstruacijų ir gimdymo. Taip pat mikvah naudojama atsivertimo į judaizmą – giur (hebr. גיור) – rituale bei naujų stalo įrankių panardinimui prieš juos pradedant naudoti. Pasinerti į mikvah yra būtina visu kūnu, vanduo turi paliesti visas jo vietas, įskaitant ir plaukus. Visais atvejais pasinėrimas į mikvah sietinas su apsivalymu, tyrumu ir švara.

Šiandien buvusios žydų pirties vietoje pastatyta estrada.