Il palazzo-fortezza venne costruito tra il 1335 e il 1364 sul naturale affioramento roccioso all’estremità nord-orientale della città di Avignone. I Papi risiedettero ad Avignon dal 1309 al 1377. L’antipapa Clemente VII vi riportò poi il soglio. All’inizio del XV secolo, al termine del Grande Scisma, dopo i regni di Clemente VII e Benedetto XIII, il palazzo diventa la residenza dei legati, quindi dei vicelegati, fino alla Rivoluzione. E’ quindi trasformato in caserma fino alla sua apertura al pubblico all’inizio del XX secolo.