Em 1579, com licença do bispo de Tortosa, os dominicanos fundaram um convento fora das muralhas de Castelló, em plena horta, junto à acequia Maior e ao caminho do mar. O terreno foi doado pelo jurista Jaime Miralles, e por sua vontade a casa se dedicou a santo Tomás de Aquino, embora com o tempo os castellonenses a conhecessem como o Convento do Rosário, pela confraria do Rosário vinculada aos frades. Os começos foram modestos: meia dúzia de religiosos, uma economia precária e obras que avançavam ao ritmo das esmolas e das ajudas do Conselho municipal.

A igreja, hoje paróquia de São Vicente Ferrer, reflete bem esse crescimento lento. Sua nave com capelas laterais se completou ao longo do século XVII, e as irregularidades em molduras, abóbadas e decoração das capelas delatam as pausas da obra. Entre 1661 e 1668 levantou-se o campanário, que em meados do século XIX chegou a abrigar um telégrafo óptico. Por volta de 1690 a confraria custeou a capela do Rosário, cujos frescos, terminados por Eugenio Guilló em 1704, são o conjunto artístico mais valioso do templo. Em várias capelas conserva-se além disso o esgrafiado ornamental de meados do XVII.

O claustro foi começado em 1648 pelo mestre de obras Joan Ibáñez, aragonês radicado em Vila-real com numerosos encargos na comarca, e ficou concluído por volta de 1659. É a única das suas obras que chegou até nós. Sua linguagem é renascentista num momento em que o barroco já se abria caminho: arcos sobre colunas alçadas em pedestais, ornamentação quase inexistente e umas proporções que os estudiosos relacionam com o claustro do Colégio do Corpus Christi de Valência. Aqui a beleza está no ritmo e na medida, não no adorno.

O conjunto sobreviveu a duras penas ao século XIX. Em 1811 as tropas francesas expulsaram os frades e reutilizaram madeiras, tijolos e pedras do convento; do claustro ficaram em pé as colunas. Após a desamortização, a Câmara Municipal obteve o edifício para instalar a Casa de Beneficência, que desde 1860 gerenciou a Deputação com as Irmãs da Consolação e que chegou a acomodar centenas de órfãos e idosos. Nos anos oitenta do século XX a Deputação fechou a instituição e derrubou seus pavilhões, mas respeitou o claustro, que ficou como pátio central do Conservatório de Música, entre os equipamentos educativos e culturais levantados sobre os antigos terrenos do convento.