Dvaras, įkurtas buvusios kryžiuočių pilies vietoje, minimas nuo XVI a. pabaigos. Pilies buvimą patvirtina ir iki 1914 m. vykdyti mėgėjiški kasinėjimai pailgos formos piliakalnyje.

Istorikas K.Jablonskis paskelbė 1676 m. inventoriaus surašymą – tais metais prasidėjo dvaro perdavimas kitam šeimininkui. Tuomet jame šeimininkavo Jurgis Jonas Svirskis ir jo žmona Ona Eltisienė Svirskienė. Raseinų seniūnas Juozapas Chrzastovskis Žemąją Panemunę 1677 m. perdavė Andriui Kazimierui Gelgaudui, 1673 m. tapusiam LDK raštininku.

Baudžiava šiame dvare buvo sunki: baudžiauninkai turėjo dirbti svaitėje 4 dienas su arkliais ir 2 dienas be arklių, dar turėjo duoti duokles savo gaminiais.

1727 m. Andriaus Kazimiero Gelgaudo našlė Teresa Gelgaudienė-Sapiegienė, Palenkės vaivados Mykolo Juozapo Sapiegos (1630–1737) žmona, turtą užrašė savo giminaitei Izabelei Elžbietai Morštyn (1671–1758). Ji buvo poeto, marinisto Jono Andriaus Morštyno (1621–1693) duktė. Tuomet į dvarą pateko tėvo dailininko vertingų drobių. XIX a. 6 dešimtmečio pabaigoje, po Krymo karo, trūkstant valstybei lėšų, iš dvaro nusavino 200 margų žemės ir išdalino kareiviams, tarnavusiems caro armijoje.

Pokario metais pastatuose buvo įsteigta ligoninė.