Durante la época colonial, en el sitio que ocupa este recinto cultural existió una fabrica de papel, se piensa que la parte más antigua del edificio se construyó alrededor de 1780.
El 2 de septiembre 1985 se funda la Casa de la Cultura Jesús Reyes Heroles (recinto que lleva del hisotriador y polítólogo veracruzano en su honor), cuando el Gobierno Federal dona la casa y los terrenos aledaños para ese fin. El lugar cuenta en la actualidad con 3 galerías, 2 salones de usus múltiples, talleres, seminarios y restaurante-cafetería.
Entre 2004 y 2005 las instalaciones fueron remodelada y rehabilitadas para poder seguir dando a los usuarios un buen servicio. Un espacio digno de visitar en esta casa es su vistosa cocina mexicana forrada de Talavera poblana que en su momento fungió como galería gastronómica, en la que se llevaban a cabo encuentros de arte culinario.