Разработали метод оценки интерпретируемости технологий искусственного интеллекта
06:00, Март 26, 2023
Исследователи из Женевского университета (UNIGE), университетских больниц Женевы (HUG) и Национального университета Сингапура (NUS) разработали новый метод оценки интерпретируемости технологий искусственного интеллекта (ИИ), открывающий путь к большей прозрачности. и доверяйте диагностическим и прогнозирующим инструментам на основе ИИ. Инновационный подход проливает свет на непрозрачную работу так называемых алгоритмов искусственного интеллекта «черного ящика», помогая пользователям понять, что влияет на результаты, получаемые искусственным интеллектом, и можно ли доверять этим результатам. Это особенно важно в ситуациях, которые оказывают существенное влияние на здоровье и жизнь людей, например, при использовании ИИ в медицинских приложениях . Исследование имеет особое значение в контексте предстоящего принятия Закона Европейского Союза об искусственном интеллекте, который направлен на регулирование разработки и использования ИИ в ЕС. Результаты недавно были опубликованы в журнале Nature Machine Intelligence. Данные временных рядов, отражающие эволюцию информации во времени, есть везде: например, в медицине при регистрации сердечной деятельности с помощью электрокардиограммы (ЭКГ); при изучении землетрясений; отслеживание погодных условий; или в экономике для мониторинга финансовых рынков. Эти данные могут быть смоделированы с помощью технологий искусственного интеллекта для создания инструментов диагностики или прогнозирования. Развитие ИИ и, в частности, глубокого обучения, которое заключается в обучении машины с использованием этих очень больших объемов данных с целью их интерпретации и изучения полезных закономерностей, открывает путь к более точным инструментам для диагностики и прогнозирования . Тем не менее, без понимания того, как работают ИИ-алгоритмы или что влияет на их результаты, «черный ящик» технологии ИИ поднимает важные вопросы, а не надежность. «То, как работают эти алгоритмы, мягко говоря, непрозрачно», — говорит профессор Кристиан Ловис, заведующий кафедрой радиологии и медицинской информатики медицинского факультета UNIGE и глава отдела медицинской информатики HUG. -руководил этой работой. «Конечно, ставки, особенно финансовые, чрезвычайно высоки. Но как мы можем доверять машине, не понимая основы ее рассуждений? Эти вопросы важны, особенно в таких секторах, как медицина, где решения на основе ИИ могут влиять на здоровье и даже жизни людей, и финансы, где они могут привести к огромным потерям капитала». Методы интерпретации призваны ответить на эти вопросы, расшифровав, почему и как ИИ принял данное решение, а также причины, лежащие в его основе. «Знание того, какие элементы склоняют чашу весов в пользу или против решения в конкретной ситуации, тем самым обеспечивая некоторую прозрачность, повышает доверие к ним», — говорит доцент Джанмарко Менгальдо, директор MathEXLab в Национальном университете. Колледжа дизайна и инженерии Сингапурского университета, который руководил работой. «Однако современные методы интерпретируемости, которые широко используются в практических приложениях и промышленных рабочих процессах, дают ощутимо разные результаты применительно к одной и той же задаче. Это поднимает важный вопрос: какой метод интерпретируемости является правильным, учитывая, что должен быть уникальный, правильный ответ «Следовательно, оценка методов интерпретируемости становится столь же важной, как и интерпретируемость как таковая». Отличие важного от неважного Различение данных имеет решающее значение для разработки интерпретируемых технологий искусственного интеллекта. Например, когда ИИ анализирует изображения, он фокусируется на нескольких характерных признаках. Докторант лаборатории профессора Ловиса и первый автор исследования Хьюг Турбе объясняет: «ИИ может, например, различать изображение собаки и изображение кошки. Тот же принцип применим к анализу временных последовательностей: машине нужно чтобы иметь возможность выбирать элементы, например пики, которые более выражены, чем другие, чтобы основывать свои рассуждения.С сигналами ЭКГ это означает согласование сигналов от разных электродов для оценки возможных диссонансов, которые могут быть признаком определенного сердечного заболевания. .» Выбрать метод интерпретируемости среди всех доступных для конкретной цели непросто. Различные методы интерпретации ИИ часто дают очень разные результаты, даже если они применяются к одному и тому же набору данных и задаче. Чтобы решить эту проблему, исследователи разработали два новых метода оценки, чтобы помочь понять, как ИИ принимает решения: один для определения наиболее важных частей сигнала, а другой для оценки их относительной важности в отношении окончательного прогноза. Чтобы оценить интерпретируемость, они скрыли часть данных, чтобы проверить, имеют ли они отношение к принятию решений ИИ. Однако такой подход иногда приводил к ошибкам в результатах. Чтобы исправить это, они обучили ИИ расширенному набору данных, который включает скрытые данные, которые помогли сохранить сбалансированность и точность данных. Затем команда создала два способа измерения того, насколько хорошо работают методы интерпретируемости, показывая, использует ли ИИ правильные данные для принятия решений и все ли данные рассматриваются справедливо. «В целом наш метод направлен на оценку модели, которая будет фактически использоваться в рамках ее операционной области, тем самым обеспечивая ее надежность», — объясняет Турбе. Чтобы продолжить свои исследования, команда разработала синтетический набор данных, который они предоставили научному сообществу, чтобы легко оценить любой новый ИИ, направленный на интерпретацию временных последовательностей. В будущем команда планирует протестировать свой метод в клинических условиях , где опасения по поводу ИИ остаются широко распространенными. «Укрепление доверия к оценке ИИ — это ключевой шаг к их внедрению в клинических условиях», — объясняет доктор Мина Белогрлич, возглавляющая группу машинного обучения в отделении профессора Ловиса и являющаяся вторым автором этого исследования. «Наше исследование сосредоточено на оценке ИИ на основе временных рядов, но та же методология может быть применена к ИИ на основе других модальностей, используемых в медицине, таких как изображения или текст»....
