Sous Charles IX, la place est fortifiée par des ingénieurs italiens Bélarma, Béphano, Castrizio, d’Urbain et le chevalier Orcogio. On commença d’abord par tracer la ville et par l’entourer d’un grand fossé : aux quatre angles d’un carré long formé par ce fossé, on éleva les remparts avec des mâts de navires enfoncés en terre et retenus par de forts madriers qui soutenaient un massif de terres transportées et liées avec fascines.

Dans la suite, on fit, aux quatre angles, des bastions qu’on poussa en dehors, pour flanquer les courtines qui furent brisées. Le parement d’une partie de ces ouvrages fut construit en pierres dures. A la même époque l’ingénieur Vergamo fortifia La Rochelle.

Charles IX pénètre le 13 août 1565 dans des provinces situées entre le Val de Loire au nord et la Guyenne au sud. Il s'agit de l'Angoumois, de la Saintonge, de l'Aunis et du Poitou. Cela correspondait à la région Poitou-Charentes avec le département de la Vendée. Il reste dans ces provinces jusqu'au 1er octobre 1565, soit 49 jours.

Le roi traversa la région, fêté par des divertissements que les autorités locales s’ingéniaient, à l’envi, à l’entourer de pompe.

Le 5 septembre, il se rend pour le dîner dans la nouvelle ville de Brouage.

 Cité maritime par excellence, Brouage voulut lui donner le spectacle d’un combat naval simulé entre un navire marchand et deux chaloupes armées en guerre et figurant des pirates. Le premier ayant essuyé des coups de canon et des arquebusades sans se laisser aborder, les assaillants l’incendièrent à l’aide de fusées.

La scène se termina par des scènes de sauvetage qui amusèrent beaucoup le roi. Parmi les princes et les gentilshommes de sa suite, on remarquait Henri de Bourbon, fils d’Antoine roi de Navarre, et de Jeanne d’Albret, âgé alors de douze ans, et qui un quart de siècle plus tard, devait s’appeler Henri IV.

Un spectateur raconte les fêtes que l'on donna.

« je vous raconteray ce que je vey en l’an 1565 que le defunct roi Charles fesoit son voyage par ce royaume et entr’autre estant à Brouage en ladite année et au mois de septembre, ceux du pays des isles vouloyent faire voir de quelle façon un navire marchand estant trouvé à la mer par un navire de guerre ou pirate est attaqué. Pour ceste cause accomodèrent un vieil navire du port de trente cinq ou quarante tonneaux et l’équipèrent de voiles et y mirent un capitaine et huit ou dix mariniers, lequel entrant dedans le havre dudit Brouage qui est très beau, fust ledict navire suivy de deux chaluppes équippées de guerre (ou je me trouvai) »

« Je vous raconte, dit-il, que le défunt Roi fit un voyage  dans son Royaume au mois de septembre  en la dite année 1565. Ceux du pays des Iles lui voulaient  faire voir de quelle façon, un navire marchand étant à la mer, est attaqué par un navire de guerre ou pirate.

 Pour cette cause accommodèrent un navire de 35 à 40 tonneaux et l'équipèrent de voiles et y mirent un  capitaine et huit ou dix marins, lequel entrant dans  havre dudit Brouage qui est très beau, fut le dit navire suivi de deux chaloupes équipées de guerre.

« Le navire marchand fut attaqué, pris et coulé.

Tout en s’amusant des joutes qu’on lui offre, Charles IX admire la forte position du havre, sa richesse.