Casale Marittimo fu un castello e centro principale della zona sotto i conti della Gherardesca. Nominato già nel 1004, nel 1406 passò sotto il dominio fiorentino, seguendone le sorti. Nel 1684 venne dato in feudo ai Ridolfi e nel 1738 entrò a far parte del marchesato di Riparbella. La struttura castellana è stata inglobata nel tessuto edilizio del borgo.