Ilgą laiką Skaraitiškės dvaras priklausė broliams Sirjatavičiams, bajorų Bilevičių giminės palikuonims. 1878 m. Skaraitiškė visam laikui perėjo bajorų Kontrimų giminės nuosavybėn. Dabartiniai mūriniai Skaraitiškės dvaro rūmai pastatyti 1838 m. vietoje senų medinių. Rūmai turi klasicizmo stiliaus bruožų, yra devynių sąramų, stačiakampis, tinkuotas, turintis aukštus pamatus, įspūdingus skliautuotus rūsius. I-ojo pasaulinio karo metais palei Skaraitiškę ėjo fronto linija, ir dvaro rūmuose buvo apsistoję vokiečių kareiviai. Karo metais dvare kilo gaisras ir jo metu sudegė 14 dvaro sodybos pastatų. Dvaro sodyboje iki 1940 m. buvo sumaniai šeimininkaujama – čia saugotas nežinomo dailininko XVIII a. tapytas LDK iždininko Ignoto Kontrimo portretas, puikūs senoviniai baldai, turtinga dvaro biblioteka, kuri tais laikais Raseinių apskrityje buvo viena iš turtingiausių. Sovietų valdžia visus dvaro pastatus nacionalizavo. Dvaro savininkė M. Kontrimienė ir jos dukra Sofija buvo ištremtos į Sibirą. Pokario metais rūmų pastatuose gyveno valstybiniame ūkyje dirbusių žmonių šeimos.

Rūmus supo romantizmo stiliaus parkas. Spėjama, kad jis buvo įrengtas tuo pat metu, kai buvo pastatyti rūmai. Dvaras dabartiniam jo šeimininkui priklauso nuo 1995 m.