ИИ может повысить эффективность в различных секторах, таких как бизнес и здравоохранение. Однако отсутствие объяснимости мешает нам полагаться на его использование для принятия решений.
Должны ли мы доверять суждению алгоритма?
Для лиц, принимающих решения в любой отрасли, важно понимать ограничения и потенциальные предубеждения модели машинного обучения. Чтобы гарантировать, что эти модели ведут себя должным образом, выходные данные любой системы ИИ должны быть объяснимы для человека.
В этой статье мы рассмотрим важность объяснимости в ИИ. Мы предоставим краткий обзор типов методов, используемых для получения объяснений из моделей машинного обучения.
Что такое объяснимый ИИ?
Объяснимо искусственный интеллект или XAI относится к приемам и методам, позволяющим людям понять, как модели машинного обучения достигают определенного результата.
Многие популярные алгоритмы машинного обучения работать как «черный ящик». В машинном обучении, алгоритмы черного ящика относятся к моделям ML, где невозможно проверить, как определенный ввод приводит к определенному результату. Даже разработчик ИИ не сможет полностью объяснить, как работает алгоритм.
Например, алгоритмы глубокого обучения используют нейронные сети для выявления шаблонов из тонны данных. Хотя исследователи и разработчики ИИ понимают, как работают нейронные сети с технической точки зрения, даже они не могут полностью объяснить, как нейронная сеть добилась определенного результата.
Некоторые нейронные сети обрабатывают миллионы параметров, которые работают в унисон, чтобы вернуть окончательный результат.
В ситуациях, когда решения имеют значение, отсутствие объяснимости может стать проблемой.
Почему объяснимость имеет значение
Объяснимость дает представление о том, как модели принимают решения. Компании, которые планируют адаптировать ИИ для принятия решений, должны будут определить, использовал ли ИИ правильные входные данные для принятия наилучшего решения.
Необъяснимые модели являются проблемой в нескольких отраслях. Например, если бы компания использовала алгоритм для принятия решений о приеме на работу, в интересах всех было бы обеспечить прозрачность того, как алгоритм принимает решение об отклонении кандидата.
Еще одно поле, где глубокое обучение алгоритмы все чаще используются в здравоохранении. В тех случаях, когда алгоритмы пытаются обнаружить возможные признаки рака, врачам важно понять, как модель пришла к тому или иному диагнозу. Требуется некоторый уровень объяснимости, чтобы эксперты могли в полной мере воспользоваться преимуществами ИИ, а не слепо следовать ему.
Обзор объяснимых алгоритмов ИИ
Объяснимые алгоритмы ИИ делятся на две широкие категории: самоинтерпретируемые модели и апостериорные объяснения.
Самоинтерпретируемые модели
Самоинтерпретируемые модели алгоритмы, которые человек может напрямую читать и интерпретировать. В этом случае сама модель является объяснением.
Некоторые из наиболее распространенных самоинтерпретируемых моделей включают деревья решений и регрессионные модели.
Например, давайте рассмотрим модель линейной регрессии, которая прогнозирует цены на жилье. Линейная регрессия означает, что с некоторым значением x мы сможем предсказать наше целевое значение y, применив определенную линейную функцию f.
Предположим, что наша модель использует размер лота в качестве основного исходного параметра для определения цены дома. Используя линейную регрессию, мы смогли найти функцию y = 5000 * x, где x — количество квадратных футов или размер участка.
Эта модель удобочитаема и полностью прозрачна.
Апостериорные объяснения
Постфактум объяснения представляют собой группу алгоритмов и методов, которые можно использовать для добавления объяснимости другим алгоритмам.
Большинству методов апостериорного объяснения не нужно понимать, как работает алгоритм. Пользователю нужно только указать ввод и результирующий вывод целевого алгоритма.
Эти объяснения далее делятся на два вида: локальные объяснения и глобальные объяснения.
Локальные объяснения направлены на объяснение подмножества входных данных. Например, для конкретного результата локальное объяснение сможет точно определить, какие параметры способствовали принятию этого решения.
Глобальные объяснения нацелены на получение апостериорных объяснений всего алгоритма. Этот тип объяснения, как правило, труднее сделать. Алгоритмы сложны, и может быть бесчисленное количество параметров, важных для достижения конечного результата.
Примеры алгоритмов локального объяснения
Среди многих методов, используемых для достижения XAI, алгоритмы, используемые для локальных объяснений, являются тем, на чем сосредоточено большинство исследователей.
В этом разделе мы рассмотрим некоторые популярные алгоритмы локального объяснения и то, как работает каждый из них.
LIME
LIME (локальный интерпретируемый независимый от модели объяснитель) — это алгоритм, который может объяснить предсказания любого алгоритма машинного обучения.
Как следует из названия, LIME не зависит от модели. Это означает, что LIME может работать с любым типом модели. Модель также локально интерпретируема, что означает, что мы можем объяснить модель, используя локальные результаты, а не объясняя всю модель.
Даже если объясняемая модель представляет собой черный ящик, LIME создает локальную линейную модель вокруг точек, расположенных рядом с определенной позицией.
LIMe предоставляет линейную модель, которая аппроксимирует модель вблизи прогноза, но не обязательно глобально.
Вы можете узнать больше об этом алгоритме, посетив этот репозиторий с открытым исходным кодом.
ШАП
Аддитивные объяснения Шепли (SHAP) метод для объяснения индивидуальных предсказаний. Чтобы понять, как работает SHAP, нам придется объяснить, что такое значения Шепли.
Ценность Шепли — это концепция теории игр, которая включает в себя присвоение «ценности» каждому игроку в игре. Это распределяется таким образом, что значение, присвоенное каждому игроку, основано на вкладе игрока в игру.
Как мы применяем теория игр к машинному обучению модели?
Предположим, что каждая функция в нашей модели — это «игрок», а «игра» — это функция, которая выводит прогноз.
Метод SHAP создает взвешенную линейную модель, которая присваивает значения Шепли различным функциям. Признаки с высокими значениями Шепли оказывают большее влияние на результат модели, в то время как признаки с низкими значениями Шепли оказывают меньшее влияние.
Заключение
Объяснимость ИИ важна не только для обеспечения справедливости и подотчетности систем ИИ, но и для укрепления доверия к технологии ИИ в целом.
Предстоит еще много исследований в области объяснимости ИИ, но есть несколько многообещающих подходов, которые могут помочь нам понять сложные системы ИИ «черный ящик», которые уже широко используются сегодня.
Благодаря дальнейшим исследованиям и разработкам мы можем надеяться на создание более прозрачных и понятных систем ИИ. Тем временем предприятия и эксперты в таких областях, как здравоохранение, должны знать об ограничениях объяснимости ИИ.
Оставьте комментарий