Il castello fu edificato nella prima metà del secolo XV, su una preesistente struttura, dal signore di Vasto Giacomo Caldora. Il castello sostenne nel 1464 un assedio durato tre mesi contro le truppe di re Ferdinando I d’Aragona. Adibito a tribunale e a carcere tra 1605 e 1697, restaurato e rafforzato nel 1713, è stato utilizzato verso la metà dell’Ottocento come abitazione per privati.
Oggi il Castello Caldoresco è in parte adibito a scopi residenziali, in parte ad uso commerciale.
