Situato all'estremo sud del borgo medioevale, aveva funzione di difesa alla "Porta del Capo" e, almeno al tempo dei Carafa, anche di abitazione del feudatario.
Il castello fu acquistato nel 1764 dai fratelli Giovanni, Nicola, Vincenzo e Francesco Lembo. Questi, qualche anno più tardi, decisero di demolirlo, riducendo il sito sul quale esso sorgeva ad ampio giardino, cinto da una grossa muraglia.
Costruirono così il loro Palazzo, incorporando in esso solo alcuni elementi dell'antico castello.
I lavori durarono dal 1764 al 1790. Il giardino, di forma quadrata, presenta una superficie di circa 34 are, con un pozzo centrale e alcuni ruderi dell'antica rocca.