Jak widać z powyższej relacji, Zamek Tarnowski w czasach potopu szwedzkiego nie mógł już zatem przedmiotem większego zainteresowania dla skandynawskich najeźdców. Ostatnimi właścicielami, którzy próbowali podnieść go z upadku byli: książę Aleksander Janusz Ostrogsko - Zasławski, kanclerz koronny Jan Wielopolski i starosta kałuski Jan Zamoyski. W latach 1657 a 1675 nakryto zamek nowym dachem i dokonano przy nim innych prac remontowych. Niestety nie na długo przywrócono życie na Zamku Tarnowskim. Zamek, oraz całe wciąż podzielone hrabstwo, dostawało się kolejno w ręce najczęściej małoletnich i niezbyt zainteresowanych nim właścicieli. Przed rokiem 1723 znów widzimy "zwierzchność zamkową" na dworze w Gumniskach, który od tego czasu stale pełnił funkcję siedziby starosty i rezydencji panów na Tarnowie. Wysokie koszty remontów przy niskim komforcie warunków mieszkaniowych powodowały, że właściciele takich starodawnych siedzib często opuszczali je i przenosili się do nowoczesnych klasycystycznych pałaców lub nawet drewnianych dworów. Koniec istnienia Zamku Tarnowskiego wiąże się z księciem Januszem Aleksandrem Sanguszką znanym jako lekkoduch i utracjusz. W roku 1747 zezwolił tarnowskim bernardynkom na rozbiórkę murów zamku w celu uzyskania materiału na budowę nowego kościoła. Pozwolenie zostało wydane za zgodą jego ojca ks. Pawła Karola Sanguszki, który w tym czasie dokonał zjednoczenia dóbr tarnowskich. Pod koniec XVIII wieku "stary Leliwitów zamek, który przez wiele wieków patrzał na swoje miasto rozłożony w dolinie, już ten wspaniały warowny, szacowny dom Tarnowskiego (...) stracił swoją okazałość, swoje baszty, wieże i sklepienie (...) sterczał już tylko ułomkiem ściany, na której czerniły się okna rozdarte w szerokie bramy, z których sypał się gruz i rumowisko" (Adam Gorczyński)