На том месте еще с XVI века располагался Земский приказ, для которого в 1699 году было построено каменное двухэтажное здание с башней и наличниками в стиле нарышкинское барокко. В здании находились конторы городского управления.
Московская дума в 1874 году выделила этот участок для постройки Исторического музея — такая идея была выдвинута в 1872 году во время Политехнической выставки, приуроченной к 200–летию со дня рождения Петра I.