La verde y bella comarca sanabresa, en otros tiempos dominios de los Condes de Benavente, tiene en lo más alto de la villa de Puebla de Sanabria un castillo del que existen referencias documentales en el siglo XIV, en las que se indica que la torre baja se llamaba de "Los Losada". La localidad de Puebla remonta sus orígenes a la época del Concilio de Lugo en el 569 en el que se proclama la creación de nuevos obispados y reparto de las diócesis. Mayor relevancia se plasmó en la carta fuero concedida en 1220 por el rey Alfonso IX en términos similares a los fueros concedidos a Benavente.
En el reinado de Pedro I, para unos "El Cruel", para otros "El Justiciero", pertenecía aquella villa y comarca al bueno y leal caballero Juan Alfonso de Benavides, el cual la dejó en usufructo a su esposa doña María Girón en el testamento que otorgó en 7 de agosto de 1358. En las guerras con Portugal, en tiempos de Felipe IV fue también teatro aquella comarca de varias acciones y escaramuzas, siendo con tal motivo reparado y fortificado aquel castillo de Puebla, cuya posición elevadísima y sobre rocas, lo hacía punto de defensa de importancia suma.
El castillo se conserva como un centinela de piedra que recuerda su importancia defensiva, dominando los verdes alrededores de la Sanabria que hoy es visitada para recreo y no para las batallas de antaño. Durante la denominada Guerra de la Independencia, de 1808, el castillo fue testigo de la llegada de algunos destacamentos que trataban de avituallarse cuando avanzaban hacia Braganza, oponiéndose a la marcha del General Silveira que se dirigía a su encuentro sobre la villa de Puebla de Sanabria donde los franceses habían entrado el 29 de julio, llegando los portugueses al amanecer del día siguiente que cercaron el castillo de Puebla obligando a capitular a los franceses diez días después. Los franceses entregaron sus armas personales y allí se rindieron.
Durante el resto del siglo XIX el castillo vivió una época de abandono, hasta que, dado el nulo uso como fortaleza militar, el Gobierno decidió dejárselo al Ayuntamiento de Puebla de Sanabria. Así, el 28 de junio de 1895 la reina regente María Cristina, en nombre de su hijo Alfonso XIII, sanciona en San Sebastián la Ley en la que se materializa dicha cesión, cuyo corto texto es: "Se cede provisionalmente al Ayuntamiento de Puebla de Sanabria el antiguo castillo que existe en aquella villa, hasta tanto que se determine si será o no útil para la defensa de la frontera de Portugal y, en caso negativo, la cesión será definitiva y de pleno dominio".
Desde su cesión al Ayuntamiento de Puebla, el castillo ha tenido los más variados usos, desde cárcel municipal hasta almacén de paja o gallinero. Posteriormente, ya en la década de los noventa del pasado siglo XX, el castillo adoptó un uso decididamente cultural, instalándose en él la Biblioteca, la Sala de Exposiciones y el salón de Actos. Desde el año 2006, la Torre del Homenaje del castillo, popularmente conocida como el "Macho", se convirtió en el Centro de Interpretación de las Fortificaciones, merced a un proyecto de la Fundación del Patrimonio Histórico de Castilla y León, mientras que la "Casa del Gobernador" se convirtió en 2007 en el Centro de Recepción de Visitantes.
