Тестирование систем с машинным обучением

Классическое тестирование, при котором задаются сценарии тестирования или программы и методики испытаний, не применимо для систем на базе машинного обучения – модель обучилась чему-то новому и вправе выдавать непредсказуемые результаты. Как заказчику убедиться в том, что решение работает и будет приносить бизнес-пользу? Исполнитель также хочет наглядно доказать, что решение корректно работает. В этом случае может помочь системный подход к тестированию, учитывающий основные риски, которые заказчик и исполнитель должны обрабатывать совместно.