В сентябре 1942 года, рассказывает ветеран, призвали в армию. Привезли во Владивосток, оттуда перебросили на остров Русский. После «учебки» служил там в 354-м отдельном батальоне морской пехоты. Воевал с японцами, участвовал во многих десантных операциях. Войну закончил в Порт-Артуре.
Демобилизовавшись из армии в 1950-м году, перебрался жить в Ростов. Недолго думая Яков Коваленко поступил на службу в МГБ на транспорте, охранял общественный порядок на станции Ростов-Главный. Сопровождал поезда.