Per Veidės kalnelį eina Žagarės ozas. Senosios Žagarės kūrimosi laikais ant šio kalnelio stovėjo Syrenės pilis, o vėliau buvusioje pilies vietoje – dvarininkų Syrevičių dvaras. Pilies ir dvaro pastatų neišliko, o Veidės piliakalnyje XVIII a. buvo įsteigtos Senosios Žagarės senosios kapinės. Veidės piliakalnis buvo įrengtas žiemgalių žemėse, Švėtės upelio kairiajame krante. Šis piliakalnis kol kas archeologų netyrinėtas, todėl sunku nustatyti, kada jame galėjo gyventi žiemgaliai. Anot kraštotyrininko J. Šliavo, Veidės piliakalnyje stovėjo 1271 m. rašytiniuose šaltiniuose netoli Žagarės minima žiemgalių Syrenės pilis. Numalšinus žiemgalių sukilimą Žagarė istoriniuose šaltiniuose ilgokai nebuvo minima. Žagarės atsikūrimas šiaurės vakariniame Švėtės krante, anot J. Šliavo, siejamas su Syrenės pilimi. XV a. pabaigos rašytiniuose šaltiniuose minimi dvarininkai Syrevičiai, manoma, buvo minėtos pilies valdovų palikuonys, o jų įtvirtinta dvaro sodyba XV – XVI a. stovėjo pilies vietoje Veidės kalnelyje.