Del castello dei Conti della Gherardesca, un tempo circondato da mura, sopravvive il fronte rivolto verso il mare . Intorno al Castello, la cui edificazione risale probabilmente al Mille, si è sviluppato il centro urbano secondo uno schema di anelli concentrici che danno vita ad un sistema di strade, vicoli e piazzette. Il castello ebbe, nella sua lunga storia, numerose modificazioni e rifacimenti successivi, al pari della chiesa parrocchiale, a lungo utilizzata come chiesa del castello, come si ravvisa dall’esame delle strutture interne.