С течением времени усадьба перешла по наследству от Михаила Петровича Зиновьева и супруги его Авдотьи Васильевны Зиновьевой к дочери их Ирине Михайловне в замужестве Юсуповой, и на протяжении последующих 19 лет принадлежала известному княжескому роду Юсуповых, по своему происхождению и положению, принадлежавшему к высшим слоям русской дворянской аристократии.

Богатство и роскошь, в которой жили Юсуповы, поражало воображение даже членов императорской фамилии.