Istorikas J. Totoraitis, teigia, kad neįvardintame 1660 m. mokesčių sąraše šalia keleto tenutų minimas ir Vilkaviškio tenutas, t.y. didžiajam kunigaikščiui priklausantis dvaras (čia terminas "dvaras" nepavartotas). Tai seniausia data, kurioje užfiksuotas Vilkaviškio dvaro vardas. Tik Pacų valdymo metu daug konkrečiau paminimas Vilkaviškio dvaro vardas - 1679 m. balandžio 7 d. Jono Sobieskio privilegijoje, išleistoje Ponų Tarybai tarpininkaujant ir Vilkaviškio žydų vardu prašant atstovams Markui Hercikovičiui ir Bernotui Jakubovičiui, Vilkaviškio žydų kahalui pasakyta, kad jo nariai privalo mokėti dvarui už posesijas ir namus. Žydai tapo pavaldūs ne miesto, o dvaro administracijai; dėl pastarosios ginčytinų sprendimų galėjo apeliuoti į valdovo dvaro teismą. Net XVIII a. pradžios švedų kronikose minima, kad jų kariai Vilkaviškyje ieškojo kažkokios pilies (matyt, dvaro) šeimininkų, kad apgyvendintų aukštus karininkus. Kristupas Pacas mirė 1684 01 10, o jo žmona 1685 03 11, Vilkaviškio seniūnija teko valdyti valdovo taurininkui Dulskiui. 1702 m. Vilkaviškio dvare apsilankė K. Sapiega: čia jo armija susijungė su vienu švedų korpusu ir patraukė į Gardiną. Po S. Leščinskio pasitraukimo iš karaliaus sosto, Vilkaviškio viršaičiu (vaitu), atsakingu už tvarką mieste, paskyrė Dadzibogą Einoravičių (Dadzibóg Ejnarowicz). Tiesa, neaišku, kiek jis turėjo galių dvarui: jei dvaras buvo be šeimininko, tai pastarajam teko šias valdas saugoti nuo visiško nuniokojimo. 1730 m. balandžio 15 d. Augustas II suteikė teisę iki gyvos galvos valdyti Vilkaviškio seniūniją Lietuvos Didžiosios Kunigaikštystės kanclerio ir kariuomenės generalinio regimentoriaus Mykolo Kaributo Višniaveckio žmonai Teklei Radvilaitei Višniaveckai. Privilegijoje pažymima, kad duodami valdyti palivarkai bei miestai, o į valstybės iždą turės mokėti tik kvartos arba tonacijos mokestį. 1732 m. Vilkaviškio seniūnijos inventoriuje nurodoma, kad tuo metu Vilkaviškio mieste, netoli Kauno gatvės, ėjo ir Dvaro (Zamkowa) gatvė. Tai dar vienas dokumentas, kuriame netiesiogiai minimas Vilkaviškio miesto dvaras. Ta gatvė vingiavo rytine miesto dalimi. Vadinasi, jei jau tuomet buvo tokiu vardu gatvė, tai ne pirmi metai egzistavo ir dvaras. 1738 m. dokumente dar kartą paaiškėja, kad Vilkaviškio seniūnijai sėkmingai vadovavo Vilniaus vaivada, LDK didysis hetmonas Mykolas Servantas Kaributas Višniaveckis.