Il castello svevo di Oria è una splendida costruzione edificata tra il 1225 e il 1233 per volere di Federico II nella parte più alta della città: la definizione del castello come ''gigantesco gioiello di pietra'' (così lo definì Bourget) sintetizza lo splendore di questo maniero svevo, posizionato su una collina a metà strada tra Brindisi e Taranto.
La planimetria triangolare è caratterizzata da tre torri definite ''Quadrata'', ''Del cavaliere'' e ''Del Salto'': la prima torre è di matrice federiciana, mentre le altre due torri sono da ricondurre alla dominazione angioina.
Dalla terrazza della torre "Del Cavaliere" è possibile dominare un vasto territorio e le posizioni delle città limitrofe sono indicate su un'apposita lastra marmorea di orientamento. Ai piedi della "Torre Del Salto" si trova l'antichissima cripta dei Santi Crisante e Daria, primi protettori della città.
Sono i resti della chiesa ipogea fatta edificare intorno alla metà dell'800 dal vescovo Teodosio.
Il muro orientale, con merli e due porte, è lungo 107 metri.
Nella parte occidentale ci sono i fabbricati e l'antico ingresso un tempo munito anche di ponte levatoio. Al vertice si trova la Torre dello Sperone, simile alla prua di una nave, dalla quale è possibile ammirare uno stupendo paesaggio: questa particolare forma del castello gli è valso l'appellativo di "Vascello natante nell'aria".
Imponente anche la piazza d'armi, capace di accogliere fino a 50.000 soldati.
Dagli elementi architettonici e da quel che è rimasto degli affreschi si fa risalire la cripta all'epoca basiliana.
Il castello è stato dimora di principi, cavalieri, marchesi e baroni, oltre ad essere meta di studiosi provenienti da tutto il mondo. Restaurato più volte, oggi il castello - diventato monumento nazionale - è proprietà della nobile famiglia Martini-Carissimo di Castel d'Orea che permutò il maniero con il Palazzo di proprietà diventato poi sede del Municipio.
Il castello è avvolto da leggende che rendono ancora più affascinante la sua storia.