Svėdasų dvaras 1533 m. atiteko reformacijos šalininkams Mikalojui Radvilai Juodajam ir jo broliui Jonui. XVI a. priklausė Radviloms, tikriausiai buvo karališkasis dvaras, kadangi 1567 m. iš šio dvaro Kristupas Mikalojus Radvila turėjo pristatyti arklius valstybės kariuomenei. Vėliau dvaras priklausė Biržų Radviloms.

Dvarui priklausė ir Urbaniškio palivarkas (dabar Kamajai). XVIII a. pabaigoje Karolis Povilas Radvila dvarą perleido Leonui Borovskiui, kurį jis valdė trumpai – iš jo dvarą perėmė ir iki 1890 m. išlaikė grafai Marikoniai. Apie 1890 m. dvarą valdė caro generolas Božerianovas, vėliau dvaras su rūmais atiteko pasiturinčiam ūkininkui Juodviršiui. Dvaras priminė riterių pilį, prie jo buvo nemažas tvenkinys, puikus parkas, kurį užveisė iš užsienio pakviesti sodininkai.