Детство его прошло в Остафьево, где в те же годы Карамзин писал свою "Историю государства Российского". В Остафьево, родовом подмосковном имении князей Вяземских, юный Петр получил домашнее образование, затем учился в Иезуитском пансионе в Петербурге, а после слушал на дому, в Москве, лекции профессоров Московского университета.
24 июля 1812 года двадцатилетний служащий служащий Межевой канцелярии П.А. Вяземский обратился к директору за разрешением вступить в ополчение. Позже он не без юмора напишет об этом времени:
Рифмы прочь...