Pirmosios istorinės žinios apie Šilgalius siekia XVII a. pr., kai Prūsijos valdžia stengėsi apgyvendinti tuščias žemes. Šilgaliai buvo įkurti potvynių užliejamo Nemuno slėnio pakraštyje, žemame ir drėgname plote, o dvaro sodyba statyta sausesnėje vietoje, nedidelėje pakilumoje. Didžiąją dalį valdų užėmė šienaujamos pievos ir ganyklos. Visa tai lėmė dvaro sodybos ir jos pastatų pobūdį - čia formavosi būdingas šioms apylinkėms pievininkų dvaras. 1620 m. Šilgalių kaimo apylinkėse žemes įsigijo Paul Klemm, Hans Georg Sackheim. 1746 m. karalius Frydrichas Didysis savo slaptajam patarėjui Johann Caspar Fritzen davė privilegiją Grynaičių palivarkui laikyti ir atidavė visus Šilgalius su 19 kulminių ūbų žemės. Jau tada šalia seniau egzistavusio kaimo pradėjo kurtis Šilgalių dvaras. Jam buvo suteiktos kilmingojo dvaro teisės. J. K. Fritzen nusigyvenus, valdžia dvarą konfiskavo. 1753 m. Šilgalius perėmė Michel Stumber, 1792 m. juos nusipirko Christian Friedrich Reimer. XVIII a. pastatyti pirmieji dvaro rūmai - tradicinis statinys su valminiu stogu, XVIII a. pab. Šilgalių dvaro sodybos erdvų kiemą jau supo 4 dideli pastatai, pietų pusėje buvo daržai. Ryčiau tęsėsi Šilgalių kaimo sodybos. Pietų - pietvakarių pusėje plytėjo užliejamos pievos. 1815 m. Šilgaliai apibūdinti kaip Vingės domeno, Pakalnės apskrities pagrindinis bajoriškasis dvaras, kur buvo 7 dūmai ir 76 gyventojai. 1820 m. dvarą su visu turtu paveldėjo sūnus Johann Wilhelm Reimer, o 1833 m. jis dvarą pardavė giminaičiui Johann Gottfried Zander. Nuo XIX a. vid. dvaras priklausė vienai Habedanck giminei: 1845 m. vasarą jį įsigijo Samuel Habedanck, nuo 1866 m. - Julius Habedanck, o 1990 m. dvarą paveldėjo Franz Habedanck. Beveik 100 m. Šilgalių dvaras priklausė šiai giminei, kuri pastatė mūrinius dvaro sodybos trobesius. Dvaras vertėsi olandiškos veislės galvijų ir žirgų auginimu, ūkyje vyravo pienininkystė - veikė sūrinė, kurioje kasdien buvo pagaminama po 30 sūrių. Dvaras tviskėjo tvarka ir prabanga.

1903 m. Šilgaliai turėjo riteriškojo dvaro statusą, 1921 m. čia įvestas telefonas. Išlikusi Šilgalių dvaro sodyba susiformavo XIX a. - XX a. pradžioje. XIX a. vid. jau buvo susidariusi pagrindinė sodybos kompozicinė schema: rytų - vakarų kryptimi orientuotas erdvus stačiakampis kiemas, juosiamas 6 pastatų. Matyt, sodyba buvo perplanuota XIX a. pr., valdant Reimer, atsisakius senosios sodybos utilitarios struktūros ir, galbūt, jau nebetinkamų pastatų. Buvo pasirinkta ašinės kompozicijos schema - nuo pagrindinių vartų rytų šone pailgas kiemas tęsėsi vakarų link, jo vakarų šoną ribojo dvaro rūmai, už jo nedidelis parkas. XIX a. vid. jau stovėjo mūriniai Šilgalių dvaro rūmai ir 2 tvartai šiauriniame kiemo pakraštyje. Pietiniame ir rytiniame šonuose buvo mediniai pastatai (turbūt, daržinės), šiaurės vakarų pakraštyje būta samdinių gyvenamųjų namų. Dvaro sodybą su kitomis gyvenvietėmis jungė vieškeliai, greta tebestovėjo nedidelės valstiečių sodybos. Dvaro sodyba laukų ir pievų kraštovaizdyje išsiskyrė kaip atskiras vienetas (tik rytų pusėje prie jos glaudėsi miškelis ir nedidelė Šilgalių gyvenvietė). Pokariu Šilgalių dvaro sodyboje įsikūręs Nemuno valstybinis žirgynas senuosius pastatus pritaikė savo reikmėms, iš esmės nepakeitęs dvaro sodybos istorinio vaizdo. 1987 m. tebestovėjo dvaro rūmai, pieninė, sūrinė, 2 medinės daržinės, 4 mūriniai ūkiniai pastatai, samdinių gyvenamasis namas. Vėliau sodyba kiek keitėsi. Po 1992 m. sunaikintos abi medinės daržinės, suremontuoti kiti pastatai. Siauresniame šiauriniame dvaro valdų pakraštyje prie keliuko į Rukus ir XIX a. viduryje nutiesto geležinkelio pervažos buvo įrengtos dvaro kapinaitės, apsuptos nedidelio parko. Jos sunaikintos sovietinės okupacijos dešimtmečiais. Taip pat suniokotos dvaro darbininkų bei kaimiečių kapinės, buvusios ryčiau nuo dvaro sodybos.