Esterházy Károly egri püspök a székhelyét Kelet-Magyarország művelődési központjává kívánta fejleszteni. Terve megvalósításában fontos szerepet szánt egy klasszikus, 4 fakultású (teológiai, jogi, orvostudományi és bölcsészeti) egyetemnek. Ezeket a törekvéseit, melyek 14. paragrafusa értelmében Magyarországon csak egyetlen egyetem, a budai állhat fenn. Így a Fellner Jakab által felépített (1765-85) késő barokk épület csupán líceumként működhetett, amelyet Esterházy javai általános örökösévé tett meg.