Эта история началась еще во второй половине XVII века. В те времена в переулках на западе Москвы, ныне звестных как район Арбата, находились многочисленные стрелецкие, иконные и дворцовые слободы, слободы мастеров Государева Денежного двора и дома знати.

Во второй половине XVII века дворцовые и стрелецкие слободы были упразднены и на их месте начали формироваться усадьбы, принадлежавшие преимущественно дворянству.

К концу XVII века Арбат превратился в один из самых аристократических районов Москвы. Именно здесь, на собственных землях, знатный дворянский род Зиновьевых начал строительство каменных палат — своей родовой усадьбы.

Обширное владение стало украшением тогдашней окраины Москвы и неотъемлемой частью московской архитектуры.