En 1579, amb llicència del bisbe de Tortosa, els dominics fundaren un convent fora de les muralles de Castelló, en plena horta, junt a la sèquia Major i el camí de la mar. El terreny el donà el jurista Jaume Miralles, i per la seua voluntat la casa es dedicà a sant Tomàs d'Aquino, encara que amb el temps els castellonenses la conegueren com el Convent del Roser, per la confraria del Rosari vinculada als frares. Els començaments foren modestos: mitja dotzena de religiosos, una economia precària i unes obres que avançaven al ritme de les almoines i de les ajudes del Consell municipal.

L'església, hui parròquia de Sant Vicent Ferrer, reflectix bé eixe creixement lent. La seua nau amb capelles laterals es completà al llarg del segle XVII, i les irregularitats en motllures, voltes i decoració de les capelles delaten les pauses de l'obra. Entre 1661 i 1668 es levantà el campanar, que a mitjan segle XIX arribaà a albergar un telègraf òptic. Cap a 1690 la confraria costejaà la capella del Rosari, els frecs de la qual, acabats per Eugenio Guilló en 1704, són el conjunt artístic més valuós del temple. En diverses capelles es conserva ademés l'esgrafiado ornamental de mitjan XVII.

El claustre el començaà en 1648 el mestre d'obres Joan Ibáñez, aragonés afincada en Vila-real amb nombrosos encàrrecs en la comarca, i quedà conclòs cap a 1659. És l'única de les seues obres que ha arribaada fins a nosaltres. El seu llenguatge és renaixentista en un moment en què el barroc ja s'obria pas: arcs sobre columnes alçades en pedestals, ornamentació gairebé inexistent i unes proporcions que els estudiosos relacionen amb el claustre del Col·legi del Corpus Christi de València. Ací la bellesa està en el ritme i la mesura, no en l'adorn.

El conjunt sobrevisquè a dures penes al segle XIX. En 1811 les tropes franceses expulsaren els frares i reutilitzaren fusta, rajola i pedra del convent; del claustre quedaren en peu les columnes. Després de la desamortització, l'Ajuntament obtingué l'edifici per a instal·lar la Casa de Beneficència, que des de 1860 gestionaà la Diputació amb les Germanes de la Consolació i que arribaà a acollir a centenars d'orfens i ancians. En els anys huitanta del segle XX la Diputació tancà la institució i derribà els seus pabellons, però respectaà el claustre, que quedà com a pati central del Conservatori de Música, entre els equipaments educatius i culturals levantats sobre els antics terrenys del convent.