Именно здесь вступают в игру Михаэль Хеддерих и Йонас Фишер со своими исследованиями. Они разработали программное обеспечение, способное обнаруживать слабые места в сложных алгоритмах машинного обучения и помогать их исправлять.
Благодаря алгоритмам машинного обучения компьютеры могут совершать удивительные подвиги, даже в областях, ранее приписываемых только человеку, таких как языкознание и изобразительное искусство. Эти вычислительные методы основаны на так называемых искусственных нейронных сетях. «Это сети математических функций, которые взвешивают входные данные в соответствии с определенными настраиваемыми параметрами и генерируют на их основе выходные данные», — объясняет Михаэль Хеддерих, исследователь из Саарландского университета (Германия) и Корнельского университета (США). Эти функции, называемые нейронами, соединены последовательно и обучаются на данных, так что компьютеры могут, например, фильтровать кошек из миллионов фотографий или создавать обманчиво реалистичные диалоги с людьми.
«Один из самых передовых и наиболее цитируемых в мире алгоритмов синтеза текста, GPT-3 от OpenAI, обрабатывает входные данные, используя 175 миллиардов параметров, прежде чем выдать результат. Человеку практически невозможно проследить этот процесс и понять, где возникают ошибки», — говорит Йонас Фишер, в настоящее время научный сотрудник Гарвардского университета. Предыдущие методы включали анализ выходных данных алгоритма машинного обучения на наличие ошибок и их перечисление по одной. Затем экспертам приходилось искать закономерности в наборах данных, которые могли легко содержать тысячи записей. В нашем новом программном обеспечении PyPremise мы используем методы интеллектуального анализа данных для автоматического поиска определенных закономерностей в этих наборах данных с ошибками и, в конечном итоге, группируем их в понятные «категории ошибок». Таким образом, вместо того, чтобы перечислять каждую ошибку по отдельности, наше программное обеспечение может обобщать ошибки на более абстрактном уровне и делать такие утверждения, как: «Ваш алгоритм машинного обучения испытывает трудности с формулировками, содержащими вопрос „Сколько?“». «Это следует из неверных результатов в случаях X, Y и Z», — объясняет Майкл Хеддерих.
Исследователи из Саарбрюккена протестировали свое программное обеспечение как на синтетических, так и на реальных наборах данных. В процессе они смогли продемонстрировать, что их метод адаптируется к очень большим наборам данных с множеством различных свойств отдельных точек данных и обеспечивает надежные результаты. «Полученная таким образом информация о слабых местах алгоритма машинного обучения может быть использована операторами, например, для проверки обучающих данных и, таким образом, исправления ошибок системы», — объясняет Йонас Фишер. Первоначально разработанный двумя учеными-программистами инструмент применим только к алгоритмам в области обработки естественного языка. Однако одна из их целей — расширить инструмент, чтобы его можно было применять и в других областях.
Михаэль Хеддерих — ученый-программист, работает в Корнельском университете и в исследовательской группе «Системы разговорной речи» профессора вычислительной лингвистики Дитриха Клакова в Саарландском университете. Йонас Фишер получил докторскую степень в Саарландском университете прошлым летом, после защиты диссертации в Институте информатики им. Макса Планка под руководством профессора Йиллеса Врекена из Центра информационной безопасности им. Гельмгольца (CISPA). В настоящее время Йонас является постдокторантом в Гарвардском университете. Впервые научные основы программного обеспечения были представлены исследователями в июле 2022 года на Международной конференции по машинному обучению (ICML), одной из ведущих и наиболее престижных мировых конференций в этой области, где обычно принимается только пятая часть представленных работ.
