Arrivando a Lagopesole la possente mole del castello, dominante l'intera valle ed i dintorni, è visibile da notevole distanza. Il grande fabbricato è a pianta rettangolare, con i lati minori a Nord-Sud, e con sei elementi, corrispondenti alle torri, posti ai quattro spigoli ed alla metà circa dei due lati maggiori. Risulta difficile individuare i lavori "federiciani" poiché, in epoca angioina vengono eseguiti altri lavori utilizzando il materiale predisposto in epoca sveva, per completare i lavori iniziati nel 1242. La diversità di elementi decorativi ed architettonici denotano fasi costruttive e destinazioni d'uso diverse. La zona più antica è quella meridionale o "cortile piccolo", con un imponente mastio o dongione, a pianta quadrata, isolato al centro del medesimo cortile. Tale zona è forse collegabile ad una rocca longobarda o normanna, di carattere militare, con pianta quadrangolare e torri agli spigoli; quelle poste a Nord sono profondamente modificate divenendo quella ad Est l'attuale cappella e quella ad Ovest l'ingresso principale. Al castello si entra attraverso un grande portale con arco a sesto acuto modanato che, nell'intradosso contiene la scanalatura per la caditoia la quale, con una grata di legno o di ferro cadeva dall'alto a bloccare e difendere la"porta carraia", che doveva essere sempre chiusa, difesa dalle torri "binate" che la affiancano. L'androne, coperto da volta a botte del XVI o XVII secolo, ha una porta a destra che conduce in un locale dal quale si accede nel "cortile piccolo"; la porta a sinistra, nello stesso androne, permette di entrare in un locale dal quale, attraverso una scala, si può salire al"salone dell'imperatore", che occupa tutto il primo piano nell'ala settentrionale, lato ovest. Quest'ultimo è decorato da una serie di mensole a capitello, tutte diverse tra loro, di notevole pregio artistico. Percorso il salone si arriva nella "torre nord-ovest", dalla quale ha inizio il"salone della regina". Dal precedente androne d'ingresso si entra nel"cortile grande" al centro del quale è una vera di pozzo, oggetto di recenti restauri, per la raccolta dell'acqua dalla grande cisterna esistente sotto lo stesso cortile. Di fronte all'ingresso si trova il portale a sesto acuto con ghiera a zig zag della cappella, la quale ha l'interno ad unica navata, con abside semicircolare, ricavata da una delle torri del primitivo impianto, con tracce di affreschi del XIII secolo. La porta a sinistra nella cappella conduce ad una scala che, ricavata nello spessore della muratura, arriva ad una loggia posta sopra l'ingresso dalla quale, con altri passaggi, si possono raggiungere il"salone dell'imperatore" e quello degli"armigeri" al primo piano mentre, al piano terra, superata la medesima scala, si entra nel locali delle"scuderie",sotto il"salone degli armigeri". La parete sinistra della cappella ha due grosse mensole in pietra scolpita che sostenevano una tribuna lignea dalla quale l'imperatore assisteva alle funzioni religiose. 
L'altra porta, che si apre nell'abside della cappella, dà in una piccola stanza con due feritoie. Ritornati nel "cortile maggiore" si trova una rampa a gradoni che, sul lato Ovest, conduce al "salone degli armigeri", decorato da mensole a capitello con foglie di palma ed illuminato con bifore trilobate e finestre oculari nella parete ovest e piccole monofore con alte finestre oculari dalla parete est. 
Sulla medesima parete, verso il fondo del salone, una porta consente, attraverso una seconda scala ricavata nello spessore della muratura, di scendere di nuovo al piano terra tra il salone delle scuderie e l'androne che precede la"pusterla" o "porta di soccorso" del castello; questo è il secondo grande ingresso all'edificio con la soglia esterna posta a notevole altezza dall'attuale piano di campagna ed alla quale si arrivava mediante una rampa di legno mobile. 
La "porta di soccorso" o "pusterla" rimaneva sempre aperta per consentire ai messaggeri, eventualmente provenienti dalle torri di avvistamento circostanti, di entrare liberamente nel castello per dare l'allarme circa l'avvicinarsi di eventuali nemici, od altri messaggi urgenti. Il lato sinistro del"cortile maggiore" è occupato dal"salone della regina" che ha un portale d'ingresso,al centro della parete,con arco a sesto acuto e toro modanato, sostenuto da colonnine - una delle quali scomparsa - con base e capitello, tutto in pietra calcarea rosata che sembra provenisse da una cava ora esaurita, che era nei pressi di Rapolla (Pz). Il portale stesso è sormontato da una meridiana e da una grande monofora con arco a tutto sesto; a destra è una monofora trilobata, anche in pietra rosata,con altri varchi luce. Il "salone della regina", prima dei recenti restauri, era privo sia del solaio intermedio che della copertura, forse mai realizzati. Gli elementi decorativi sono una serie di mensole a capitello di varia tipologia; con varchi luce sia verso l'esterno che verso il cortile; quelli visibili al piano terra, verso il cortile, con la loro forma rettangolare, potrebbero essere di epoca angioina. Il locale a piano terra della "torre nord-ovest" corrisponde alla leggendaria"stanza segreta" in quanto la porta d'ingresso era nascosta da una scala in muratura costruitavi sopra. La stanza a pianta quadrata ha volta a crociera cordonata in pietra con chiave di volta a motivo floreale; i conci iniziali della cordonatura hanno una spirale arabeggiante e poggiano su quattro colonnine angolari con capitelli a palmetta ed abaco. 
La porta nella parete nord dà su una scala in pietra che, nello spessore della muratura, risale al primo piano. La"torre nord est", sulla destra del "salone della regina", ha due porte al piano terra: la destra porta nell'androne della"pusterla" e la sinistra, attraverso una scala nello spessore della muratura raggiunge la cima della torre. La descritta ala nord del castello, mostra una certa contemporaneità di costruzione, ed una tipologia residenziale secondo quella delle "domus" federiciane. Gli scultori che lavorarono a Lagopesole appartengono alla scuola di Andrea e Sarolo da Muro Lucano; con Mele da Stigliano, autore del portale della cappella e di parte delle mensole a capitello, con il quale collaborò Melchiorre da Montalbano. Il lato sud del"cortile maggiore" è chiuso da una cortina muraria nella quale una porta architravata con stipiti in pietra permette di passare nel"cortile piccolo" che ha, nel centro, il "mastio" o "dongione" che presenta una feritoia sulla parete sud, due feritoie e due doccioni su quella ad est, una feritoia ed un doccione sulla parete ovest; l'ingresso al torrione è sulla parete nord, a quattro metri circa di altezza ed è costituito da un grande portale in pietra calcarea chiara sormontato da due mensole con protomi umane: quella femminile, tradizionalmente, rappresenta Beatrice, la seconda moglie di Federico Barbarossa; quella maschile raffigurerebbe lo stesso Imperatore con capelli lunghi, corona ed orecchie appuntite che, nella simbologia medievale, rappresentano la capacità di ascoltare tutto ciò che accadeva nell'impero. La torre ha due soli ambienti; quello superiore con le feritoie, il grande ingresso e lavabi con un piccolo servizio igienico, tutto ricavato nello spessore delle mura, anche la decorazione con peducci è a sottolineare la destinazione privata della sala, costoloni in pietra valorizzano una bella volta a crociera. Nel vano sottostante è stata realizzata una cisterna per l'acqua ad esclusivo servizio della stessa torre. I lati sud ed est del cortile sono costituiti dalle sole murature perimetrali con la torre sud-est; mentre il lato ovest ha una serie di ambienti, addossati alla muratura esterna, per i quali non risultano elementi precisi circa l'epoca di costruzione. Questa parte del castello dovrebbe corrispondere al primitivo impianto normanno o longobardo della fortificazione.