Una grandiosa costruzione trapezoidale con i quattro angoli rivolti verso i punti cardinali e quattro torri. Appare così oggi il castello di Conversano a seguito dei numerosi rifacimenti che lo videro passare da fortezza difensiva a fastoso alloggio signorile.
Costruito dai Normanni intorno al 1054, il castello vide protrarsi la sua edificazione fino al 1187. In seguito (XVII sec.) divenne dimora dei Conti Acquaviva e fu trasformato tramite successivi rimaneggiamenti in fastoso alloggio signorile.
Il fortino fu edificato su antiche mura megalitiche, risalenti al VI-IV secolo a.C., ancora visibili alla base della Torre Maestra, unica torre normanna sopravissuta. L'opera nel complesso presenta una pianta trapezoidale con i quattro angoli rivolti verso i punti cardinali. Nei quattro angoli svettano quattro torri (torre Maestra o torre normanna, la seconda torre, torre cilindrica, divenuta oggi simbolo di Conversano, e la torre poligonale costruita entro il 1503 da Andrea Matteo Acquaviva, figlio di Giulio Antonio).
Accanto alla torre poligonale, si trovava l'originario ponte levatoio che serviva a superare il fossato circostante prima che il castello venisse ornato dell'attuale ingresso monumentale sul lato sud-ovest, nel 1710, come scritto sull'architrave del portale, su richiesta della contessa Dorotea Acquaviva.
Nella stessa occasione la contessa fece ristrutturare il cortile con l'accesso da un lato alla stanze dei conti"cavallerizza" e dall'altro alla "cavallerizza", la zona destinata ad accogliere le carrozze ed è arricchita dalla presenza di un affresco seicentesco raffigurante i SS. Medici.
Risalgono all'ottocento le finestre ed i balconi della facciata che dà su Piazza Castello, atto conclusivo di un lungo processo di trasformazione architettonica.
All'interno saloni di rappresentanza dove i Conti ricevevano i loro ospiti, le stanze da letto, il "guardaroba", la "cucina", la cappella. Tra le stanze comitale merita risalto la magnifica camera nuziale del conte Giangirolamo II Acquaviva d'Aragona (detto il "Guercio di Puglia") che conserva affreschi di Paolo Finoglio. Accanto alla camera nuziale troviamo le sale delle feste, illuminate da alti finestroni, dove inizialmente erano disposte le tele del Finoglio raffiguranti "La Gerusalemme Liberata".
Attualmente è possibile visitare solo pochi ambienti, in quanto molti sono abitati e proprietà di privati.
Il Castello ospita al suo interno la Pinacoteca comunale in cui sono esposte le tele seicentesce del ciclo "La Gerusalemme Liberata" del Finoglio.