En 1579, con licencia del obispo de Tortosa, los dominicos fundaron un convento fuera de las murallas de Castellón, en plena huerta, junto a la acequia Mayor y el camino del mar. El terreno lo donó el jurista Jaime Miralles, y por su voluntad la casa se dedicó a santo Tomás de Aquino, aunque con el tiempo los castellonenses la conocieron como el Convent del Roser, por la cofradía del Rosario vinculada a los frailes. Los comienzos fueron modestos: media docena de religiosos, una economía precaria y unas obras que avanzaban al ritmo de las limosnas y de las ayudas del Consell municipal.

La iglesia, hoy parroquia de San Vicente Ferrer, refleja bien ese crecimiento lento. Su nave con capillas laterales se completó a lo largo del siglo XVII, y las irregularidades en molduras, bóvedas y decoración de las capillas delatan las pausas de la obra. Entre 1661 y 1668 se levantó el campanario, que a mediados del siglo XIX llegó a albergar un telégrafo óptico. Hacia 1690 la cofradía costeó la capilla del Rosario, cuyos frescos, terminados por Eugenio Guilló en 1704, son el conjunto artístico más valioso del templo. En varias capillas se conserva además el esgrafiado ornamental de mediados del XVII.

El claustro lo comenzó en 1648 el maestro de obras Joan Ibáñez, aragonés afincado en Vila-real con numerosos encargos en la comarca, y quedó concluido hacia 1659. Es la única de sus obras que ha llegado hasta nosotros. Su lenguaje es renacentista en un momento en que el barroco ya se abría paso: arcos sobre columnas alzadas en pedestales, ornamentación casi inexistente y unas proporciones que los estudiosos relacionan con el claustro del Colegio del Corpus Christi de Valencia. Aquí la belleza está en el ritmo y la medida, no en el adorno.

El conjunto sobrevivió a duras penas al siglo XIX. En 1811 las tropas francesas expulsaron a los frailes y reutilizaron maderas, ladrillos y piedras del convento; del claustro quedaron en pie las columnas. Tras la desamortización, el Ayuntamiento obtuvo el edificio para instalar la Casa de Beneficencia, que desde 1860 gestionó la Diputación con las Hermanas de la Consolación y que llegó a acoger a cientos de huérfanos y ancianos. En los años ochenta del siglo XX la Diputación cerró la institución y derribó sus pabellones, pero respetó el claustro, que quedó como patio central del Conservatorio de Música, entre los equipamientos educativos y culturales levantados sobre los antiguos terrenos del convento.