«Объясняемый ИИ» представляет собой растущую область интереса в сфере искусственного интеллекта и машинного обучения. Хотя технологии ИИ могут автоматически принимать решения на основе данных, «Объясняемый ИИ» также предоставляет индивидуальные причины этих решений, помогая избежать так называемого феномена «черного ящика», когда ИИ приходит к выводам неясными и потенциально проблематичными способами. Хотя некоторые методы могут также предлагать гипотетические улучшения, которые можно было бы достичь при возникновении нежелательного результата, они не предлагают конкретных шагов для улучшения. Например, если ИИ оценивает состояние здоровья человека и определяет, что он нездоров, новая технология может быть применена для того, чтобы сначала объяснить причину результата на основе медицинских данных, таких как рост, вес и артериальное давление. Затем она может предложить пользователю конкретные рекомендации о том, как лучше всего восстановить здоровье, выявляя взаимодействие между большим количеством сложных элементов из медицинских анализов и предыдущих данных, показывая конкретные шаги для улучшения, учитывая осуществимость и сложность реализации. Эта новая технология открывает возможности для повышения прозрачности и надежности решений, принимаемых искусственным интеллектом, что позволит большему числу людей в будущем взаимодействовать с этими технологиями, обеспечивая чувство доверия и спокойствия. Предпосылки разработки:
В настоящее время технологии глубокого обучения, широко используемые в системах ИИ, требующих решения сложных задач, таких как распознавание лиц или автономное вождение, автоматически принимают различные решения на основе больших объемов данных, используя своего рода «черный ящик» — прогностическую модель. Однако в будущем обеспечение прозрачности и надежности систем искусственного интеллекта станет важнейшей задачей для внесения ИИ фундаментального вклада в общество. Эта потребность привела к росту интереса и исследований в области технологий «объяснимого ИИ». Например, в медицинских оценках ИИ может успешно определять уровень риска заболевания на основе таких данных, как вес и мышечная масса (рис. 1(А)). В дополнение к результатам оценки риска, все больше внимания уделяется «объяснимому ИИ», который представляет атрибуты (рис. 1(B)), которые легли в основу оценки. Поскольку ИИ определяет высокий уровень риска для здоровья на основе характеристик входных данных, можно изменять значения этих характеристик для получения желаемых результатов с низким уровнем риска для здоровья.
Для достижения желаемых результатов в автоматизированных решениях с использованием ИИ необходимо не только представить атрибуты, которые нужно изменить, но и те, которые можно изменить с наименьшими усилиями.
В случае медицинских осмотров, если цель состоит в изменении результата решения ИИ с состояния высокого риска на состояние низкого риска, достижение этой цели с меньшими усилиями может показаться увеличением мышечной массы (Рисунок 2 Изменение 1). Однако увеличение только мышечной массы без изменения веса нереалистично, поэтому более реалистичным решением является одновременное увеличение как веса, так и мышечной массы (Рисунок 2 Изменение 2). Кроме того, существует множество взаимодействий между такими атрибутами, как вес и мышечная масса, например, причинно-следственные связи, где вес увеличивается с ростом мышц, и общие усилия, необходимые для внесения изменений, зависят от порядка изменения атрибутов. Поэтому необходимо представить соответствующий порядок изменения атрибутов. На Рисунке 2 не очевидно, что следует изменить первым — вес или мышечную массу — для достижения Изменения 2 из текущего состояния, поэтому поиск подходящего метода остается сложной задачей, учитывая возможности и порядок изменений среди большого числа потенциальных кандидатов.
Рис. 2. Изменения в атрибутах
О разработанной новой технологии: В результате совместных исследований в области машинного обучения и интеллектуального анализа данных, лаборатории Fujitsu и Arimura Высшей школы информационных наук и технологий Университета Хоккайдо разработали новые технологии искусственного интеллекта, которые могут объяснять пользователям причины, лежащие в основе решений ИИ, что позволяет выявлять полезные и применимые на практике выводы.
Технологии искусственного интеллекта, такие как LIME (1) и SHAP (2), разработанные для поддержки принятия решений пользователями, делают решения убедительными, объясняя логику ИИ, лежащую в их основе. Новая разработанная технология основана на концепции контрфактического объяснения (3) и представляет изменения атрибутов и порядок их выполнения как процедуру. Предотвращая нереалистичные изменения путем анализа прошлых случаев, ИИ оценивает влияние изменений значений атрибутов на другие значения, такие как причинно-следственная связь, и вычисляет фактическую величину, которую пользователю необходимо изменить. Это позволяет ИИ представлять действия, которые приведут к оптимальным результатам в правильном порядке и с наименьшими усилиями.
Например, если для снижения риска, связанного с изменением входного параметра и его порядка (рис. 1(C)) для достижения желаемого результата при медицинском обследовании, необходимо добавить 1 кг мышечной массы и 7 кг веса тела, можно оценить взаимосвязь, проанализировав взаимодействие между мышечной массой и весом тела заранее. Это означает, что если добавить 1 кг мышечной массы, вес тела увеличится на 6 кг. В этом случае из дополнительных 7 кг, необходимых для увеличения веса, требуется всего 1 кг мышечной массы. Другими словами, фактическое изменение заключается в добавлении 1 кг мышечной массы и 1 кг веса, поэтому желаемый результат можно достичь с меньшими усилиями по сравнению с изменением веса в первую очередь.
Рис. 3. Взаимодействия и изменения между атрибутами
Оценки
[1] LIME. Объясняемая технология ИИ. Объясняется в простой и интерпретируемой модели.
[2] SHAP. Объясняемая технология ИИ. Показывает вклад объясняющей переменной в модель.
[3] Контрфактуальное объяснение. Метод для указания и объяснения состояния, отличного от истины, например: «Если бы я сделал это, результат был бы таким».
