Assegnata da Federico II a Gentile de Petruro e, successivamente, dagli Angioini ai De Poncellis, dal XV sec. Brienza legò strettamente la sua storia alla famiglia dei Caracciolo che si insediarono stabilmente nel castello, ampliandolo. L’ultimo vero feudatario fu, nel 1700, Litterio Caracciolo che si adoperò molto per il paese: arricchì la rocca di numerose opere d’arte, e rifondò, nel 1788, il “Monte del S.S. Rosario di Brienza”, istituzione benefica che aveva lo scopo di assistere i poveri del luogo, cui forniva medicamenti gratuiti, assicurando quattro maritaggi all’anno. Istituì altresì la Scuola Normale per l’insegnamento ai bambini di ogni ceto sociale.
La rocca era, forse, una antica fortezza angìoina di cui rimane traccia nel mastio cilindrico, che emerge dalla massiccia mole, e nella semitorre circolare, situata al centro della cinta muraria per interrompere l’uniformità della cortina e assicurare una più efficace difesa: nel Medioevo si presentava protetto, secondo il metodo delle fortificazioni longobarde, con le case addossate le une alle altre, che costituivano una valida difesa da eventuali attacchi nemici. Una scalinata in pietra, a cielo aperto, conduce ad un terrazzo a terrapieno posto davanti all’ingresso principale. Un'antica tradizione attribuisce al castello 365 stanze, una per ogni giorno dell'anno.
I Caracciolo, con alterne vicende, rimasero proprietari dei feudo e del castello fino al 1857, anno in cui l'ultima esponente della famiglia, Maria Giulia, lo lasciò in eredità al nipote Luigi Barracco.
Iniziò da questo momento la lenta decadenza del maniero; infatti, alla morte del Barracco, il feudo passò a vari feudatari e amministratori che si disfecero, con una serie di vendite, dei beni rustici lasciando in completo abbandono il castello (fortemente danneggiato dal sisma del 1857). L'ultimo proprietario, il De Luca, lo donò, infine, a Francesco Mastroberti, il quale cominciò a vendere quanto di vendibile rimaneva nell'antica costruzione (pietre lavorate, infissi, ecc.).
Dichiarato monumento di interesse nazionale con decreto del Ministro della Cultura nel 1984, il maniero, che che già all'inizio dei 1900 era stato dichiarato di interesse storico, subì, in seguito al terremoto del 1980, il crollo della parete est e della parete sud. Attualmente in fase di radicale restauro,sono stati potati alla luce e recuperati le originarie pavimentazioni di numerosi ambienti e ritrovate varie statue, in pietra dura locale, poste in Municipio, in attesa di restauro; durante l'Estate, Il borgo antico e il Castello sono lo scenario e i soggetti principali di numerose manifestazioni e rievocazioni, tra le più importanti della regione, che continuano ad attrarre migliaia di visitatori.
