Muziejuje galima susipažinti su Žemaičių (Medininkų) vyskupystės ir Telšių vyskupijos (nuo 1926 m.) meno, istorijos ir memorialiniu paveldu. Muziejus įkurdintas buvusios Žemaičių kunigų seminarijos vėlyvojo baroko architektūros pastate, pastatytame XVIII a. Carinės Rusijos administracijai XIX a. uždarius Vilniaus universitetą, Varnių kunigų seminarija ir Vilniaus Medicinos fakultetas buvo vienintelės aukštosios mokyklos Lietuvoje. Čia dirbo ir mokėsi nemažai iškilių Lietuvos kultūros, meno, mokslo ir politikos srityse pagarsėjusių asmenybių.

Kunigų seminarija veikė iki 1864-ųjų, kuomet Žemaičių vyskupystės centras, kunigų seminarija ir vyskupas Motiejus Valančius buvo iškeldinti iš Varnių į Kauną. Varniai, būdami bemaž 450 metų Žemaičių vyskupystės centru, užėmė ypatingą vietą religiniame, kultūriniame ir politiniame Lietuvos gyvenime.

XIX a. pab. pastatą užėmė Rusijos imperijos kariuomenės Dono kazokų pulkas. Atgavus nepriklausomybę, šioje vietoje įkurdinta Lietuvos kariuomenės drausmės kuopa, Aštuntasis pėstininkų Kauno Kunigaikščio Vaidoto pulkas. Tarpukariu muziejaus pastatuose veikė Varnių koncentracijos stovykla. Sovietmečiu čia buvo įsikūrusi Varnių vidurinė mokykla, vėliau pastatas perduotas Varnių kaimo profesinei technikos mokyklai. Atkūrus Nepriklausomybę, 1995 m. atstatytas varpinės bokštas ir pirminė, būdinga vėlyvajam Lietuvos barokui, stogo konstrukcija. 1999-aisiais pastatas perduotas Žemaičių vyskupystės muziejui.

Žemaičių kultūros draugijos iniciatyva 1999 m. prie rūmų pastatytas skulptoriaus Arūno Sakalausko sukurtas paminklas Žemaičių vyskupui Merkeliui Giedraičiui ir kanauninkui Mikalojui Daukšai.