Seminarijos pastatas statytas 1767-1770 m. (vėlyvasis barokas) Žemaičių vyskupo J. Lopacinskio iniciatyva buvusios Varnių katedros sklype prie vyskupo A. Tiškevičiaus rūpesčiu pradėtos statyti naujos katedros varpinės. Seminarija šiame pastate veikė iki 1865 m.