[Перевод] Карпаты оставил GPU работать на ночь. Утром в git-истории было 100 экспериментов, которые провёл не он

Во время моей аспирантуры у меня был ночной ритуал. Около девяти вечера я запускал обучение. Подкручивал гиперпараметр. Может, менял learning rate, может, добавлял пару attention heads. Нажимал Enter. Потом какое-то время сидел, глядя на кривую loss, осознавал, что уже одиннадцать, ложился спать — и просыпался, обнаружив, что всё упало в три ночи из-за ошибки нехватки памяти, которую я должен был поймать заранее.

На следующий день — чинишь баг, пробуешь снова. Один эксперимент в день, если повезёт.