Певец вырос в Москве в небольшой квартире дома 23 на Ленинском проспекте в многоэтажном доме, возведенном перед началом войны. Да и вообще, много десятилетий музыкант, по его признанию, жил скромно. Своей небогатой жизни он даже посвяти песню "Наша маленькая квартира". И лишь в 1995 году артист смог приобрести квартиру побольше.
В последние годы жизни Добрынин предпочитал шуму столицы тихое Подмосковье. В Старой Рузе он купил участок, на котором со временем под руководством жены-архитектора Ирины появился красивый загородный дом.