Las ruinas de una antigua población, a veintidós kilómetros de la de la capital de la provincia, que el vulgo ha dado en llamar "Zamora la vieja" fue la villa de Castrotorafe.

Estas ruinas se encuentran en la margen izquierda del Esla, a media legua de San Cebrián de Castro. En la parte noroeste del conjunto y sobre la escarpada margen del Esla se elevan los restos del castillo que tenía cuatro grandes torres unidas por gruesas murallas que resguardaban la plaza de armas y servía de ciudadela a la guarnición. Más antiguo que el castillo es el origen del pueblo, como lo demuestran los restos del puente cuya estructura es manifietamente de procedencia romana.

A principios del siglo XII, debió alcanzar cierto grado de importancia y prosperidad, pues en el año 1129 Alfonso VI y su esposa la reina Berenguela concedieron al concejo de Castrotorafe el Fuero de Zamora, señalándole términos de jurisdicción tan extensos que, entre otros, tenían a Otardágila, la carretera de Toro, Valderas, Bretó, Escober y el río Aliste.

Poco vuelve a saberse de Castrotorafe hasta el siglo XIV en que aparece repoblada y perteneciente a la Orden Militar de Santiago. Pocos años después, durante la revuelta por la que pasó Castilla, don Pedro cedió la villa de Castrotorafe, en premio de su lealtad, a un caballero llamado Men Rodríguez de Sanabria que conservó en su poder la fortaleza hasta que el bastardo y fratricida Enrique de Trastamara mandó destruir sus fortificaciones.

Volvióse a modificar y fue sitiada por los portugueses el 13 de noviembre de 1475, quienes la ocuparon hasta que, recobrada por los reyes católicos y vuelta nuevamente a poder de la Orden de Santiago, mandaron los caballeros reparar sus fortificaciones, siendo comendador el mariscal Alfonso de Valencia. Citado mariscal, fundado en que los reyes le habían donado este pueblo por los servicios que prestara en las últimas guerras con Portugal, quiso tratar como señor a sus vecinos y obligarlos a conducir materiales para las obras del castillo, a lo que se negaron los de Pajares alegando que no estaban sujetos a su dominio. Furioso el mariscal por la desobediencia, envió contra ellos un grupo de soldados para reducirlos a los trabajos de la fortificación, pero se resistieron valientemente en defensa de su fuero, entablando desigual lucha con la tropa, a la que pusieron en fuga sin más armas que los instrumentos de la labranza.

Consta que Castrotorafe, cuyo nombre llevan como dependientes de aquella antigua encomienda los pueblos de Olmillos, Fontanillas, Piedrahita y San Cebrián (que todos llevan el apellido de Castro) existía todavía poblada, aunque muy decadente, a principios del siglo XVIII y se sabe que hasta 1750 se celebró misa y se administraban los Sacramentos a los escasos habitantes en su iglesia parroquial, que se conservó hasta el siglo XIX, con la advocación de "Virgen de Realengo".