Kiszabadulása után 1548-ban meghalt, így a hatalmas birtokot a várral együtt fia Gábor örökölte. Perényi Gábor 1567-ben örökös nélkül hunyt el, a vár Miksa király kezébe került, aki 1573-ban az egri hős Dobó István fiának Ferencnek és családjának 100000 forintért elzálogosította. Dobó sokat költött a vár helyreállítására és javíttatására, úgyhogy halála után Rudolf császár már 204000 forintban ismerte el tartozását és ebben az összegben kötötte le - más birtokkal együtt - Dobó utódainak, Perényi Zsófiának és örököseinek. Néhány csendes esztendő után 1605-ben Bocskai István foglalta el Patak várát, 1608-ban azonban Lórántffy Mihály, mint a Dobó család örököse vette zálogba, majd leánya Zsuzsanna hozományaként 1517-ben I. Rákóczi György birtokában jutott. Halála után I. Rákóczi Ferencé lett, aki felesége, Zrinyi Ilona és apósa, Zrínyi Péter útján kapcsolatba került és részt vett a Wesselényi féle összeesküvésben. Magyar Nemzeti Múzeum Esztergomi Vármúzeuma - Képek, Leírás, Vélemények - Szallas.hu programok. A szervezkedés kiderült és I. Rákóczi Ferencnek csak 400000 forint váltságdíj ellenében sikerült életét megmenteni, birtokait elkobozták, Patak várát pedig 1671-ben császári csapatok szállták meg.
A várat és a várost 1737-ben tűzvész pusztította. Esztergomi vár belépő modul nem támogatott. 1776-ban újra a kincstár kezére került. 1806-ban Bretzenheim Ágost herceg birtoka lett, aki az egész palota épületét rendbe akarta hozatni, de halála ebben megakadályozta. Az építkezést örököse, Bretzenheim Ferdinánd folytatta. Az átépítéseket 1829-ben Koch Henrik, 1841-ben Jean Romano, 1891-ben pedig Ziegler Győző tervei alapján végezték, az ekkor már a Windischgraetz család tulajdonában lévő várban.