Vittoria Colonna e Ferrante d'Avalos. Ferrante aveva affidato il castello ai d'Avalos per la loro fedeltà
alla corona spagnola. A Costanza d'Avalos soprattutto, Ferdinando il Cattolico affidò nel 1905 l'isola.
Fu una delle donne brillanti e di grande valore che il Castello ebbe, la quale ospitò e curò l'educazione
umanistica di Vittoria Colonna (1492-1547), la maggiore poetessa del Rinascimento italiano, figlia di
Fabrizio Colonna e della Duchessa di Montefeltro. Il 27 dicembre 1509 furono celebrate le sue nozze con
Francesco Ferrante d'Avalos nella Cattedrale dell'Assunta sul Castello, alle quali parteciparono molti
importanti membri dell'aristocrazia napoletana. Vittoria, divenuta marchesa, intrattenne numerose
relazioni con poeti e artisti del tempo, tra i quali vanno ricordati Sannazzaro e Michelangelo. Rimasta
vedova, Vittoria morirà nel 1457 e il Castello comincerà una nuova fase di declino. Da splendida sede
della corte rinascimentale, la rocca fu convertita in un convento di Clarisse nel 1577, per volontà
della moglie di Muzio d'Avalos, Beatrice Quadra, che l'aveva ereditata dal marito. Qualche anno prima
però, l'isola e con essa soprattutto il Castello, dovette fare i conti con la recrudescenza delle
scorrerie dei pirati, questa volta guidati da Khair-Eddin, il pirata Barbarossa, il quale fece 4000
prigionieri (nel 1543) e da Dragut. Ciò spiega la massiccia presenza di torri sull'isola: cilindriche
quelle angioine, quadrangolari quelle aragonesi. di questi baluardi resta ben poco: rimangono ancora
il cilindrico torrione di Forio, con una torre più modesta a S.Vito; le torri di Michelangelo a Ischia,
quella di monte Vico a Lacco Ameno ed infine, quella di S.Giorgio a Testaccio.