Este recinto cultural fue reconstruido de la ruina por cerca de veinte años de abandono (1973-1992). Hasta 1973 fue sede de la principal escuela primaria de la ciudad, la Vasco de Quiroga. En dicho año la escuela dejó el inmueble ruinoso para ocupar su propio edificio, construido por el CAPFCE más allá de la huerta en la parte alta. A partir de entonces, vacío y abandonado, el edificio por cerca de veinte años fue área de paso entre la parte alta y el centro de la ciudad, tiempo que la lluvia contribuyó a deteriorar techos y muros descubiertos de protección. Los estudiantes de la escuela primaria Vasco de Quiroga cruzaban el edificio y huerto para llegar a su escuela, pues no había otra forma de llegar a ella desde el centro de la ciudad; fue así hasta 1984, cuando los padres de familia y Ayuntamiento adquirieron una casa en la calle Lerín y se abrió la escalinata sobre la calle de Madrigal de las Altas Torres; pero aun así, por costumbre, escolares y colonos hasta 1990 siguieron cruzando el huerto y el edificio para cortar camino.

En 1980 un grupo de promotores culturales había elaborado un proyecto de restauración para dedicar el edificio a casa de la cultura, pero no progresó la propuesta. En 1990 el Ayuntamiento convocó a la ciudadanía a la constitución de un patronato que buscara restaurar el inmueble; en agosto de ese mismo año se integró el patronato y en 1991 quedó constituido ante notario público el Patronato Pro Restauración y Conservación del Ex Colegio Jesuita de Pátzcuaro. Con recursos federales, de la Sedesol, estatales y municipales, el Patronato llevó a cabo la obra de restauración entre 1992 y 1994, bajo la supervisión del INAH.