XIX a. šioje vietoje pastatyta medinė cerkvė, tarnavusi carinės Rusijos armijos kareiviams. Tarpukariu cerkvė pertvarkyta į katalikų bažnyčią, ja naudojosi Lietuvos kariuomenė. Teritorijoje šalia buvo palaidoti 1919-1923 m. žuvę 76 Lietuvos kariai. Jiems pastatyti kryžiai, paminklas. Paminklas buvo itin reikšmingas, nes prie jo Lietuvos kariai duodavo priesaiką, o valstybės minėjimų metu atvykdavo pats prezidentas Antanas Smetona. Sovietmečiu karių kapai sulyginti su žeme, o paminklas nugriautas. Paminklas "Garbė žuvusiems dėl Tėvynės" atkurtas 2018 m., išlaikant autentiką. Šalia pastatyti nauji 76 granitiniai kryžiai. Parke taip pat rasite 1991 m. pastatytą ąžuolinį kryžių.

Parkas vadinamas Vilijos vardu, tačiau Vilijos vardas su šia vietove niekaip nesusijęs.