Il castello intorno al quale si sviluppa il nucleo più antico del paese racchiuso dalla prima cerchia di mura fu costruito nel 1308 da Riccardo e Poncello, figli di Fortebraccio Orsini. Sorto probabilmente su una struttura si sviluppò gradualmente grazie alle aggiunte e alle modifiche operate dalle varie Famiglie che si succedettero nel possesso feudale di Castel Madama. Dopo la morte dell’ultima rappresentante degli Orsini, Alfonsina, nel XVI secolo il feudo e con esso il castello, passarono alla famiglia Medici che ne rafforzò la struttura e costruì una seconda cerchia di mura più esterna. I lavori furono proseguiti da Margherita d’Austria, vedova ed erede di Alessandro de’ Medici, che nella prima metà del XVI secolo trasformò l’edificio nel tipico palazzo – fortezza rinascimentale, forma che tutt’ora esso mantiene nelle linee principali; infatti i feudatari successivi, Farnese, Pallavicino e Tiberi, misero in atto interventi non sostanziali. Oggi il complesso è di proprietà comunale. Fonte: Proloco castel Madama.