El lugar donde se halla el edificio fue el elegido por los primeros pobladores de Sanabria entre todos los posibles.

La casa original fue construida en el siglo XV, en la parte más alta, donde se asentaron las primeras edificaciones en torno a la primera fortaleza medieval y ha sido objeto de varias transformaciones.

A su lado se alzan el Castillo de los Condes de Benavente (S.XV), la Iglesia románica de Santa María del Azogue (S.XII al XX), el Ayuntamiento renacentista (S.XV) y la capilla barroca de San Cayetano (S.XVIII).

La excepcionalidad de la ubicación y el entorno la han hecho deseada a lo largo del tiempo, y ha sido este interés el origen de misterios y leyendas, que hablan de tesoros, pasadizos que la unen con las edificaciones vecinas y bajan hasta el río permitiendo huir de los asedios a los caballeros montados en sus caballos.

En 1766 la casa ya figuraba en los planos de defensa de la Plaza de la Puebla, en 1789 en el plano levantado por Antonio Durantez, y en el 1800 en el de Zamoranegui. En esta época pertenecía a D. Francisco Martínez Yáñez, quien se la cedió en 1823 a Don Francisco Fernández. Blanco en pago de 24 reales, o sea 6 pesetas, por unas misas que le adeudaba.

“Don Francisco Fernández Blanco cura párroco y vecino de esta villa careciendo de título cierto de la presente finca acudió al Ayuntamiento de la misma solicitando acreditar la posesión en que quieta y pacíficamente se ha hallado de ella desde mil ochocientos veintitrés en que le fue cedida por Don Francisco Martínez Yáñez vecino que fue de esta dicha villa por adeudarle varias cantidades procedentes del estipendio de veinticuatro reales o sea seis pesetas anuales de misas con que estaba gravado dicho corral y huerto habiendo pagado por el la contribución territorial y después por el edificio levantado sobre dicho terreno incluso la del último trimestre ....” (Libro del Registro de la Propiedad)

En 1875 fue comprada por Don Mariano San Román Alonso, por 5.000 pesetas. En los Años 50 del siglo pasado fue reconstruida y ampliada por el ingeniero Alejandro San Román, alterando la configuración original, permaneciendo a partir de entonces cerrada a "cal y canto", lo cual ha acrecentado la leyenda sobre sus características.

A finales del siglo XX el edificio fue adquirido por los actuales propietarios quienes, años después, han llevado a cabo su completa reconversión en posada de viajeros.