Первый каменный дом на участке между Английской набережной и Галерной улицей был построен по проекту неизвестного архитектора в 1740-х годах для князя М.В.Голицына. Позднее здание не раз перестраивалось и меняло владельцев. Самый яркий период в истории особняка начался в 1802 году, когда его приобрел граф Н.П.Румянцев – канцлер Российской империи, коллекционер, меценат, владелец богатейшего собрания исторических и художественных ценностей. В 1831 году, согласно завещанию Н.П.Румянцева, на основе принадлежавших ему коллекций в особняке был открыт первый в России общедоступный Румянцевский музей, просуществовавший здесь вплоть до 1861 года.