С течением времени владельцы усадьбы неизбежно менялись, но на протяжении почти двух веков ими оставались представители исключительно известнейших аристократических фамилий, таких как Галаховы, Салтыковы, Римские-Корсаковы, Черкасские, Вадбольские, Львовы. Не менее интересен факт, что во второй половине XVIII века усадьбу покупает граф Андрей Иванович Толстой, прадед Льва Николаевича Толстого. Тогда усадьбы, а впоследствии и квартиры на Старом Арбате, уже считались престижнейшим жильем в Москве.

Вообще, с именем Льва Николаевича Толстого история усадьбы связана хотя и опосредованно, но очень тесно. Самому великому писателю купить квартиру на Старом Арбате не довелось, более того, в итоге он предпочел жизнь в своем имении шуму стремительно растущих городов. Последней ее владелицей в дореволюционный период была Анна Александровна Берс - супруга Александра Андреевича Берса, родного брата Софьи Андреевны Толстой, жены писателя.

Кроме того, Татьяна Берс, младшая сестра Софьи Андреевны, была самой большой любовью брата великого писателя - Сергея, которого Лев Николаевич обожал и считал идеалом человека. Не исключен и тот факт, что у Берсов как раз в период написания романа «Война и мир» собирался тесный семейный круг, который нередко любил посещать Лев Николаевич, и именно Татьяна Берс стала впоследствии прототипом Наташи Ростовой в бессмертном произведении великого писателя.