Nel 1296, Margherita Aldobrandeschi fece erigere la Torre di Terra, il primo nucleo della Rocca di Porto Ercole. Questa torre quadrata fu poi ampliata dagli Orsini nel '300, diventando il fulcro della difesa del borgo contro le incursioni piratesche.






