Николай Рубцов родился в селе Емецк Архангельской области. Его отец, Михаил Рубцов, был начальником отдела рабочего снабжения и отвечал за поставку продуктов в местные магазины. Мать, Александра Рубцова, следила за хозяйством и воспитывала шестерых детей. В 1937 году из-за службы отца семья переехала в город Няндому.
В 1941 году началась Великая Отечественная война, и отца призвали на фронт. А через несколько месяцев тяжело заболела мать. Все заботы о семье взяли на себя старшие брат и сестра.