La Academia Nacional de Letras fue instalada en el Palacio Taranco, sede en ese entonces del Ministerio de Instrucción Pública.

Desde los primeros momentos, fue preocupación de los Académicos dotar a la Corporación de una sede propia, acorde con su jerarquía y con sus funciones.

En tal sentido, se realizaron numerosas gestiones ante las Autoridades Públicas a través de los años. Diversas fueron las residencias que se consideraron como posibles sedes: la Casa de Ximénez, la de Julio Herrera y Reissig, la de Montero Bustamante, la de Castellanos, entre otras.

Por decreto del 26 de febrero de 1946, el Presidente de la República dispuso que se destinara para sede de la Academia la Casa de los Vázquez, también conocida como Casa del Virrey. Esta disposición no tuvo cumplimiento porque dicho inmueble, al no haber sido restaurado a tiempo, se derrumbó casi completamente.

En 1966, el Poder Ejecutivo dictó una Resolución por la que se estableció que la Corporación dispondría, para su funcionamiento, de la biblioteca y de un ala del Palacio Taranco.

Se formalizó así el afincamiento de la Academia en la que había sido su sede, de hecho, desde su fundación. El Gobierno de la República dio cumplimiento de esta manera a una de las obligaciones contraídas en su carácter de signatario del Convenio de Bogotá.

En julio de 1997, se dispuso que todas las dependencias del Palacio Taranco fueran destinadas a Museo de Artes Decorativas y, por Resolución Ministerial del 12 de noviembre de 1997, se destinó la Casa de Julio Herrera y Reissig, “Torre de los Panoramas”, para Sede de la Academia.