Dvaras įkurtas XVII a. viduryje ir pavadintas Kalvarija. Nuo XVIII a. pradžios Kalvarijos dvare veikė vandens malūnas, kurį XIX a. gale nupirko verslininkas I. Romanovas ir pavertė vienu iš reikšmingiausių malūnų visoje Suvalkijoje. Vaizdingoje vietovėje prie Šešupės užtvankos nutiestas kabantis tiltas, kuriama aktyvaus poilsio zona.