Дом был построен в 1825 г., по типовому проекту из альбома «Собрание фасадов». Это был один из самых роскошных особняков города.
Сейчас многие элементы пафосного декора утрачены: изящные балансы на балконной площадке, фриз с растительным орнаментов, лепные грифоны в аттике

Дом построил Хрисанф Павлович Кирсанов — генерал-майор, пасынок Донского атамана Матвея Платова. Он отличился в боях при Измаиле, в Оренбургском походе, отечественной войне 1812 г, русско-турецкой войне 1828 г. Состоял адьютантом у военного министра графа Аракчеева.
Кирсанов имел двух жен. Первая супруга не могла иметь детей и позволила мужу выбрать себе другую. Генерал остановил выбор на юной крестьянке, которая жила в его имении. Для того, чтобы преодолеть социальный барьер, он выдал ее замуж за одного из своих офицеров, которого сразу же отправил на службу в далекие земли. Некоторое время спустя девушка переехала в особняк генерала и была представлена обществу как госпожа Кирсанова. В последствии она родила ему двух девочек.
По свидетельствам современников, обе женщины жили в согласии, а генерал относился к ним одинаково нежно и трепетно.

Следующим владельцев особняка в 1860 г. Стал генерал Александровский. Подстать роскошному дому он разбил сад, для украшения которого заказал из Италии мраморные копии классических скульптур.

В начале 1911 г. в доме разместилась квартира епископа Феоофилакта и домовая Крестовоздвиженская церковь, которую называли Архиерейской. Ее закрыли в 1930 г.
В советское время дом был перепланирован под коммунальные квартиры. 

В 1839 г. На бал в дом Кирсанова был приглашен путешественник, французский консул, Ксавье Оммер де Гелль с женой Адель Оммер де Гелль.
В своих воспоминаниях француженка писала, что была восхищена красотой особняка генерала Кирсанова: «Все апартаменты его резиденции отделаны орнаментом из искусственного мрамора и украшены щедро и со вкусом. Трехметровые зеркальные окна, мебель, люстры, потолки, картины — всё это говорит о роскоши и превосходном вкусе, что удивительно для казака». Двоеженство Кирсанова француженка посчитала непотребным «В России богатство покрывает всё своей сверкающей вуалью; оно допускает любые чудачества и даже такие эксцентричности, которые не соответствуют нравам и обычаям, но при условии, что все сопровождается балами и гуляньями. Общественного мнения в том виде, в каком оно существует в других странах, нет: угрызения совести здесь, скорее, для боязливых душ, чья добродетель вовсе не ценится. То, что мужчина раб своего слова, а женщина – своей репутации не понять в стране, где каприз правит всем, как самодержавный монарх». Однако как искушенная модница Адель Омар де Гелль с восхищениям отметила украшения жен Кирсанова и особенно большие бриллианты юной мадам Кирсановой.

Когда в конце XIX в. Особняк перешел во владение города. Врач Николай Диварис попросил передать итальянские скульптуры, заказанные генералом Александровским — водолечебнице, чтобы установить их на торцевом фасаде. Там они простояли до начала борьбы советской власти с архитектурными излишествами. Затем их сняли, и они долго пролежали на территории водолечебницы и заросли травой. Только в 1990-е гг., скульптуры были переданы на сохранение Таганрогскому художественному музею. Сейчас трое из них являются частью ансамбля скульптурного дворика музея: два божества источников и пан (мальчик, играющий на флейте).