Nato nel sec. XVIII-XIX come luogo fortificato nel punto più elevato del Castrum medievale, il castello con la sua torre già residenza di Perino Cameri, fu trasformato in palazzo signorile dai Guidobono Cavalchini nel XVIII Secolo, e poi ulteriormente ampliato dai Malaspina, cui passò nel 1849.
L’ultimo restauro è dovuto agli attuali proprietari, la famiglia Penati, e risale al 1994.
Il palazzo dispone di un adiacente e ampio parco.