Histórica y peculiar fue la ermita de San Fabián y San Sebastián ubicada en "la raya" de Tolilla y Lober compartida por vecinos y devotos de ambos pueblos durante siglos y en 1791 se hallaba "decente y se puede celebrar en ella". Era cura Manuel Elías, de Sotto de Cameros, Obispado de Calahorra. En 1785 llegó a tener 96 feligreses (personas de comunión) en Lober y 52 en Tolilla. Contaba con cofradía propia, de la cual se conserva el Libro de Cuentas, -la sede la tenia en Lober-, desde 1663 a 1820.
En 1884 la ermita se encontraba muy deteriorada y estaba dedicada también al Santo Cristo, compartiendo la hermandad de la Santa Cruz ambas parroquias, la de Santa Marina de Lober y la de Santa Inés de Tolilla. De ahí que entre los días de celebración conjunta estaban el 20 de enero, Domingo de Ramos y Jueves Santo.
Al paraje, al que hoy se le conoce como "de la ermita", llegó a tener una fuente de la que se cogía el agua para consagrar, hasta que en 1912 llegó un nuevo cura, Pedro, que dijo que "aquello se iba a acabar" y se acabó. Contaban los ancianos que ese mismo año el acuífero se secó, nunca más volvió a dar agua. Los devotos echaron la culpa al cura que "llegó como don Pedro y se fue como Pedrolas".
Tras llegar la decadencia, las imágenes de san Fabián y san Sebastián fueron robadas en los años sesenta, -la ermita cayó en ruina-, y tras ser recuperadas en Madrid por la Guardia Civil se trasladaron al retablo mayor iglesia de Tolilla, y allí siguen.
