Palleroso è ricordato nell’anno 996 come “Palarosus”. Il castello entrtò nei possedimenti di Lucca nel nel 1170; come molte altri borghi di questo territorio passaraono sotto il dominio estense nella metà del XV secolo. Nel 1603 fu teatro di un evento bellico: aggredito da milizie lucchesi, si arrese senza combattere e fu oggetto di distruzioni e di saccheggi. Dopo questo episodio probabilmente il castello perse le funzioni militari. Delle fortificazioni rimangono oggi resti di mura e i ruderi di una torre.