Veisiejų dvarvietė įsikūrusi vaizdingame Ančios ežero pusiasalyje. Iš kažkada prašmatnaus dvaro išliko vienas fligelis – vieno aukšto mūrinis statinys. Dvaro užuomazgos siekia 1501 m., kai Lietuvos didysis kunigaikštis Aleksandras šias žemes padovanojo Glinskiams. 1613 m. Veisiejų šeimininkais tapo Radvilos. 1733 m. dvarą nusipirko Teodoras Masalskis, vėliau dvarą valdė jo sūnūs Andrius ir Stanislovas. Dvaro sodybą, kurios fragmentai išliko iki mūsų dienų, kūrė Lietuvos didysis etmonas Mykolas Juozapas Masalskis, kuris buvo vedęs Prancišką Oginskaitę. Jų šeimoje gimė būsimasis Vilniaus vyskupas Ignotas Jokūbas Masalskis. 1743 – 1745 metais Veisiejų savininkas Lietuvos didysis etmonas Mykolas Masalskis užbaigė U raidės formos reprezentacinius rūmus, pristatydamas du fligelius. Gyvenamoji – centrinė – rūmų dalis buvo pastatyta dar XVII a. pirmojoje pusėje. Mykolui Juozapui Masalskiui mirus, Veisiejų dvarą valdė Oginskiai, vėliau – Žynievai. 1899 m. Veisiejų dvarą nusipirko Petras Gurskis ir Edmundas Muravskis. Veisiejų dvaras apleistas sunyko po Pirmojo pasaulinio karo.

1923 m. Veisiejų dvaro sodyba buvo išparceliuota, o 1928 m. parduoti ir nugriauti rūmai. XVIII a. įkurtas vienas seniausių parkų Lietuvoje. XIX a. kunigaikščiai Oginskiai parką pertvarkė į peizažinį, išpuoselėjo. 2014 m. sutvarkytame už Europos Sąjungos struktūrinių fondų lėšas Veisiejų dvaro vieninteliame išlikusiame fligelyje įsikūrė Veisiejų regioninio parko lankytojų centras ir parko direkcija.