Edificato attorno nel XII° secolo, era in origine un monastero fortificato, dedicato a Santa Viviana. Resistette a vari assedi e, nel XIV° secolo, fu trasformato in palazzo fortificato con l’aggiunta di torri. Dal 1388 vi abitò Lotto Gambacorti, arcivescovo di Pisa, che si circondava di una piccola corte, più mondana che religiosa. Con la fine dell’indipendenza di Pisa, i Gambacorti abbandonarono la struttura che, da quel momento, prese il nome di “Castellaccio”. L’aspetto attuale è il risultato di interventi e modifice avvenute soprattutto nel XVIII° secolo.