Poco si conosce della storia di questa chiesa, da sempre centro della devozione degli abitanti e soprattutto dei pescatori di Taranto. 

Affacciata direttamente sui moli di attracco delle imbarcazioni destinate alla pesca ed alla raccolta delle cozze, la Chiesa oggi dedicata a San Giuseppe, potrebbe risalire al XVI sec.  

Visitata dall’Arcivescovo di Taranto Lelio Brancaccio nel 1578 era intitolata a Santa Maria della Piccola e vi si accedeva da Via di Mezzo. La tradizione tramanda di una successiva dedicazione dell’edificio sacro a Santa Maria delle Rose, forse in riferimento ad un altare sormontato da una immagine sacra raffigurante la Madonna delle Rose di cui si ha notizia attraverso la lettura degli atti della visita episcopale di Mons. Tommaso Caracciolo nel 1654.

Con la costituzione della confraternita, intorno alla metà del 1600, che molto si adoperò per dotate la chiesa di numerosi arredi, decorazioni e della stessa statua del Santo, la dedicazione passò a San Giuseppe. 

L’edificio sacro è stato completamente restaurato nel 1963 da Francesco Carrino, che precedentemente aveva già decorato il soffitto lasciando nella parte centrale il pregevole dipinto firmato e datato da Paolo de Matteis nel 1715. L’opera, che raffigura il Dubbio di San Giuseppe, si caratterizza dalla presenza in basso della figura del probabile committente in cui secondo alcuni è facile leggere l’autoritratto dell’artista.