La ermita primitiva de San Fabián y Sebastián estuvo en Las Eras, pradera situada en la margen izquierda del río Frío, justo por arriba del pueblo. La nueva, dentro del casco urbano, en la pradera del río, se comenzó a construir en 1801. El 12 de enero de 1805 se refundó la hermandad con nuevas ordenanzas, estructuradas en 18 capítulos dirigidas al "culto divino y obras de misericordia, fin principal que nos mueve a este establecimiento y congregación de legos". El 12 de febrero, eran aprobadas por el Vicario General Antonio Núñez Oliva. La nuevas reglas fueron rubricadas por los vecinos José Gallego, Baltasar Pascual, Tomás López, Amaro Gallego, Domingo González, Diego Fuerte, Juan Santos, Simón Serrano, Antonio Torres y Francisco Mata.
El 20 de enero de 1802 se bendijo el nuevo santuario por Vicente Zapatero, cura de Valer, asistido por Lorenzo Mezquita (Bercianos) y Rafael Gallego (presbítero de Valer). La construcción de la ermita acarreó 6.504 reales de gastos, 345 por sacar la piedra y otros 373 para convidar a los vecinos a vino y pan de Carbajales en los días en que sacaron la piedra de las canteras de las Horretinas y el barro de la Portilla. Los canteros gallegos emplearon 167 jornales, pagados a ocho reales cada uno, lo que supuso un gasto de 1.314 reales. El retejo de la ermita y planearla por dentro costaba 325 reales, mientras que los carpinteros cobraron 736 por hacer el techo y las puertas. Las tejas se compraron en Domez de Alba a "dieciséis reales el ciento" lo que supuso un coste de 437 reales. La saca y porte de baldosas de piedra costó 264 reales. Finalmente el retablo, la mesa del altar mayor, el atril y la credencial costaron 1.000 reales.
