Delle antiche fortificazioni non rimane molto, ma il borgo ha mantenuto intatta la struttura castellana. Nel XII secolo Ponzò era probabilmente uno dei capisaldi dei Vescovi di Luni; documenti del 1209 lo attestano come dominio di famiglie genovesi. Fu poi dei Pallavicino, dei Fieschi e infine dei Doria.