Южнокорейские ученые разработали новый метод обучения, который позволяет искусственному интеллекту (ИИ) «признавать свое незнание». Исследователи из Корейского института передовых технологий (KAIST) уверены, что этот подход поможет существенно сократить проблему генерации ложной информации, известную в IT-сфере как «галлюцинации». Результаты этого прорывного исследования были опубликованы в авторитетном научном журнале Nature Machine Intelligence.
Главная проблема ИИ — излишняя самоуверенность
По мнению экспертов, одной из главных проблем современных ИИ-систем является их «чрезмерная самоуверенность». Предыдущие исследования показали, что даже такие передовые модели, как ChatGPT от OpenAI, иногда могут выдавать недостоверную информацию за абсолютную истину. Использование столь самоуверенных систем в критически важных областях, таких как здравоохранение, несет серьезные риски.
Вдохновение от человеческого мозга
Чтобы решить эту проблему, исследователи вдохновились механизмами работы человеческого мозга. По словам ученых, мозг человека способен генерировать сигналы даже до рождения, без каких-либо внешних раздражителей. Команда применила аналогичный подход к ИИ.
В новом методе модель ИИ проходит короткий этап предварительного обучения с использованием случайных шумовых данных (noise) еще до того, как начнет обучаться на реальных фактах. Этот процесс помогает модели осознать собственную неопределенность и усвоить состояние «я пока ничего не знаю» до начала полноценного обучения.
Применение в критически важных сферах
Благодаря этому методу системы ИИ начинают давать ответы с более низким уровнем уверенности, если сталкиваются с темами, которые они не изучали, вместо того чтобы уверенно генерировать ошибки. Команда отмечает, что ИИ учится лучше различать то, что он знает, от того, чего он не знает.
Ученые уверены, что данный метод внесет огромный вклад в развитие технологий, где право на ошибку минимально: автономные автомобили, системы медицинской диагностики и технологии поддержки принятия решений. Как отметил один из авторов исследования Се-Бум Пайк:
«Это исследование показывает, что ИИ может оценивать состояние собственных знаний гораздо ближе к тому, как это делает человек».
