Il primo impianto della Fortezza di Santa Barbara è databile ai primi anni del XIV secolo. Nel 1543 si iniziò la costruzione della nuova struttura. In seguito, su progetto di Bernardo Buontalenti, fu costruito un grande bastione. A partire dalla metà del Seicento la fortezza perse le funzioni militari, divenendo carcere e caserma. Tra gli anni ’70 e ’80 del XX secolo la struttura è stata oggetto di restauro.