Dom zamkowy postawiony przez Spycimira szybko przestał wystarczać jego ambitnym potomkom, tym bardziej, że byli to nie tylko możnowładcy pomnażający prywatny majątek, ale politycy wielkiego formatu, z wizją sięgającą dużo dalej niż doraźny interes państwa. To właśnie wnuk Spycimira Jan z Tarnowa i jego brat stryjeczny Spytek z Melsztyna byli najgorliwszymi zwolennikami, a może i samymi pomysłodawcami małżeństwa królowej Jadwigi z litewskim księciem Jagiełłą, które miało doprowadzić do chrztu tego ostatniego państwa Europy i jego unii z Królestwem Polskim. Wielka idea unii polsko - litewskiej, która zmieniła historię naszego kontynentu, formowała się także na zamkach tarnowskim i melsztyńskim, i trudno przypuszczać, że Tarnowscy Leliwici żyjący na przełomie XIV i XV wieku nie przejawili odnośnie do kształtu swojej głównej rezydencji żadnego śladu swojej inicjatywy. Prawdopodobnie więc jeszcze przed końcem wieku XIV przy wschodnim i południowym odcinku muru obwodowego stanął gotycki pałac, z wielką salą i kaplicą (nowa lokalizacja?) na najwyższej kondygnacji. Niewykluczone również, że właśnie wtedy (ostatnia ćwierć XIV stulecia) powstały wymienione wyżej mury obwodowe przygródka. Jak podają zgodnie Filip Kallimach i Jan Długosz, w roku 1441 zamek i miasto zostały zdobyte i spustoszone podczas najazdu węgierskich przeciwników Jagiellonów w walce o tron tego państwa. Ze zniszczeń odbudował go prawdopodobnie Jan Amor z Tarnowa. Na przygródku, który prawdopodobnie najwięcej wtedy ucierpiał, w miejsce spalonych, drewnianych budynków postawiono murowane. Obronność zamku wysokiego wzmocniono przez dobudowanie dwóch baszt, okrągłej od południowego wschodu i czworokątnej (z furtą) od południowego zachodu, połączonych dodatkowym murem osłaniającym budynek pałacu. Powstałe w ten sposób międzymurze wypełniły cztery ściany działowe, świadczące o tym, że wykorzystano je później na powiększenie powierzchni użytkowej pałacu. Okrągła baszta osłaniająca zamek od południowego wschodu, kierunku najbardziej zagrożonego atakiem była prawdopodobnie basztą ogniową. Wiele wskazuje na to, że nie były to jedyne powstałe w drugiej połowie XV wieku dzieła obronne na zamku.