1919 m. gen. Vlado Nagevičiaus iniciatyva Kauno įgulos karininkai įsteigė karininkų korporacijos klubą, 1924 m. pavadintą Karininkų ramove. Pagrindinis klubo tikslas buvo suburti karininkus, karo gydytojus ir karo kapelionus į vieną draugiją, stiprinti jų tautinę dvasią, vykdyti visuomeninę veiklą.

1932 m. rūmų projektą parengė architektas dr. Stasys Kudokas. Statyba buvo pradėta 1935 m. spalį, o 1937 m. balandį rūmai iškilmingai atidaryti. Per atidarymo ceremoniją Prezidentas Antanas Smetonas kalbėjo: "Jokia kita, tariant simboliškai, šeima, kaip kariuomenė nėra taip žymi ir didi ir nesveria tiek mūsų tautos gyvenime. Kariuomenė ne tik saugo ir gina mūsų tėvynės ribas, ne tik auklėja ir ruošia ginklo galiai mūsų jaunimą, ji taip pat neša, iškėlus aukštai, ir kultūros švyturį. Dėl to jai mes turime labai daug pagarbos ir vilties joje dedame."

Rūmų fasadą papuošė skulptoriaus Broniaus Pundziaus sukurta "Trijų milžinų" granito skulptūra, kuri tapo Ramovės simboliu. Pirmame rūmų aukšte buvo įkurta Ramovės administracija ir restoranas "Trys milžinai". Antrame aukšte įrengta Didžioji salė su atviromis galerijomis-ložėmis, taip pat lietuviškos svetainės stiliaus Prezidento kambarys ir gotikinio stiliaus Mažoji salė bei Vytauto seklyčia, kurias puošė Petro Kalpoko tapyti Lietuvos kunigaikščių portretai. Trečiame aukšte veikė Karininkų klubas su valgykla, skaitykla, biliardo, kortų ir šachmatų kambariais. Ketvirtame aukšte buvo įrengtas viešbutis, o rūsyje – šaudykla ir sporto salė. Karininkų ramovė tapo populiaria spaudos, diplomatinio korpuso balių rengimo vieta. Čia buvo organizuojamos Naujųjų metų sutiktuvės, kurių metu Prezidento vizitas tapdavo pagrindiniu šventės įvykiu.