Realizzato velocemente alla fine del XIX sec. dalla Famiglia D’Ayala Valva, il maestoso palazzo affacciato sul Lungomare Vittorio Emanuele III, si caratterizza per i ricercati connotati tipicamente neoclassici ingentiliti da gradevoli particolari in stile liberty.  L’ampio portale di accesso immette alla scalinata di rappresentanza grazie alla quale era possibile raggiungere, superato il mezzanino destinato a vani di servizio, gli ambienti al primo ed al secondo piano. 

La facciata, suddivisa in tre livelli, è resa particolarmente scenografica dal lungo balcone del piano nobile decorato da una pregevole balausta in ferro battuto che la percorre per l’intera lunghezza e lungo il quale si affaccia una fila di finestre trabeate.  Nel cortile esterno trovano posto due grandi padiglioni, originariamente rimesse per le carrozze, impreziositi da fregi, sculture e decorazioni. La parte superiore degli edifici si differenzia nei due ambienti, ma è sempre sormontata dagli emblemi araldici della casata: lo stemma dei D’Ayala (nobile famiglia di origine spagnola), affiancato a quello dei Valva (famiglia di notabili di origine campana). 

Il padiglione destro reca sul fregio il monogramma “AV” (corrispondente alle iniziali dei due cognomi) con le paraste laterali sormontate da delfini; al di spora del fregio, in un timpano di stile barocco, campeggia il lupo dei D’Ayala.  Il padiglione sinistro si caratterizza, invece, per il bel timpano in stile rinascimentale, nella cui nicchia centrale sono inserite le nove taccole, disposte su due file sovrapposte, cinque rivolte a sinistra e quattro (le inferiori) rivolte a sinistra. Entrambi i timpani sono affiancati da erme di gusto classicheggiante. 

Il palazzo D’Ayala Valva fu sede della Prefettura di Taranto dalla istituzione della Provincia nel 1923 fino al completamento del Palazzo del Governo nel 1934.