Vergų bokštas – tai nedidelis, aukštokas keturkampis pastatas storomis sienomis ir angomis viršutinėje dalyje, pastatytas iš netašytų lauko akmenų, plytų, kalkių ir molio skiedinio, esantis Stelmužės dvaro parke, prie Padvarinės (Stelmužės) ežero.

XVII-XIX a. čia buvo dvaras, kurį iš pradžių valdė vokiečiai Folkerzamai, o vėliau caro dvariškiai Valujevai, kurie garsėjo savo žiaurumu. Pastatytame bokšte jie kalino ir bausdavo prasikaltusius baudžiauninkus – uždarydavo nakčiai, o dieną vėl išvarydavo į darbą. Vergų bokštas tarnavo kaip kalėjimas. Šio bokšto sienos – 0,75 m storio. Statinys yra restauruotas, įrašytas į XVII a. architektūros paminklų sąrašą. Istorijos šaltiniuose užfiksuota, kad, neištvėrę dvaro šeimininkų žiaurumo, baudžiauninkai dažnai bėgdavo iš Stelmužės ar net nusižudydavo.

Dėl šio dvaro pastato pirminės paskirties galima rasti ir nesutarimų - tikėtina, kad tai ledainė ir tik vėliau žiaurių valdytojų panaudota kaip bausmių vieta. Nors ledainės dažnai būna įrengtos po žeme ar turi rūsį, tačiau sienų storio ir padėties (prie ežero) faktai patvirtina pirminę "šaldytuvo" paskirtį.