Дом построен в 1860-х гг., в стиле эклектика, т.е. в нем сочетаются элементы архитектуры барокко и классицизма. На фасаде представлено разнообразие скульптурных масок: мифических персонажей, детей, даже льва и античного философа, а на карнизе — химер на декоративных вазах. Отдельное внимание заслуживают скульптурные женские фигуры — кариатиды. Все эти элементы были изготовлены местным скульптором Леонидом Егоровым, который учился в Московском Строгановском училище, но вернулся в Таганрог. Он был талантливым мастером, но не смог противостоять равнодушию провинциального города и закончил свою жизнь трагически. Разрушающаяся лепнина и плачущие кариатиды словно повторяют судьбу своего создателя.

С конца 1880-х годов здание принадлежало австрийскому подданному — купцу 2-й гильдии Николаю Рафаиловичу. Его инициалы «НР» в виде вензеля до сих пор сохранены на навесе входной группы.

В период Гражданской войны, когда в Таганроге находилось главное командование белых войск на Юге России, в этом доме жил начальник французской военной миссии — дивизионный генерал Шарль Манжен.

После освобождения Таганрога большевиками, в особняке располагался политотдел формирования первой конной армии, издавалась газета «Листок красноармейца», собирался продовольственный налог.

В 1925 г. дом был перепланирован под коммунальные квартиры.