Il Palazzo Baronale con ogni probabilità è stato realizzato dai Conti di Segni, proprietari di vasti possedimenti territoriali. Uno dei loro discendenti nato in questo stesso palazzo nel 1160 diventerà il celebre Pontefice Innocenzo III. Dopo la distruzione del 1495, l’ edificio ha subito trasformazioni notevoli che hanno lasciato una minima traccia dell’ originaria struttura. Diviene un vero castello-residenza: forma quadrata, cortile, ampi saloni, alloggi per la servitù, numerose stanze. Gli interventi più recenti vengono effettuati nel XX secolo con lo scopo di restituire al palazzo l’ antico aspetto medievale: viene innalzata la torretta e realizzata la merlatura. Nel 1920, il Palazzo Baronale diventa la Casa-madre delle Pie Operaie. Nel 1990, dopo l’ abbandono dell’ edificio da parte delle suore, il castello resta disabitato e solo di recente è stato riutilizzato per lo svolgimento di alcune attività, quali prove teatrali, congressi, prove musicali e altre manifestazioni socio-culturali. Dal Giugno 2007 quattro delle sue stanze ospitano il Museo della Civiltà Contadina. Fonte: prolocogavignano.it