Чат-боты с искусственным интеллектом не уверены в ответах на вопросы о самоубийстве

Что произойдёт, если подросток задаст чат-боту с искусственным интеллектом вопросы о самоубийстве в 3 часа ночи? Новое исследование, финансируемое Национальным институтом психического здоровья, протестировало именно этот сценарий с помощью ChatGPT , Claude и Gemini . Результаты вызывают беспокойство: блокируя более откровенные вопросы, они пропускают тонкие и потенциально смертельные.

ИИ неэффективен в сфере психического здоровья: исследование вызывает беспокойство у экспертов

Тринадцать экспертов, включая психиатров и психологов, составили 30 вопросов о самоубийстве, ранжируя их по шкале от очень низкого до очень высокого риска. Затем они засыпали этими вопросами трёх самых популярных чат-ботов, повторяя каждый из них по 100 раз, чтобы проверить последовательность ответов.

Все три системы последовательно отказывались отвечать на самые прямые и опасные вопросы. Однако, когда вопросы становились косвенными или двусмысленными, фильтры начинали давать сбои. Например, ChatGPT уверенно ответил, какой тип огнестрельного оружия имеет самый высокий уровень самоубийств . Этот ответ в недобрых руках может стать смертельной информацией.

Исследование было проведено сразу после судебного иска, потрясшего Кремниевую долину. Character.AI подвергся критике за то, что якобы подтолкнул подростка к самоубийству .

Райан Макбейн, ведущий автор исследования и научный сотрудник корпорации RAND, сказал, что был «приятно удивлён» базовым уровнем защиты. Но это слабое утешение, когда погрешность может означать разницу между жизнью и смертью.

Google Gemini: когда осторожность становится параличом

Из трёх протестированных чат-ботов самым осторожным оказался Gemini от Google . По мнению исследователей, даже слишком осторожным. Система отказывалась отвечать даже на безобидные вопросы об общей статистике самоубийств, информации, которая может быть полезна исследователям, преподавателям или медицинским работникам.

Это классическая дилемма автоматизированной модерации. Где провести границу? Слишком либерально — и вы рискуете предоставить опасную информацию. Слишком ограничительно — и вы заблокируете доступ к потенциально важной информации.

Миллионы людей полагаются на ИИ в вопросах психического здоровья

Доктор Атеев Мехротра, соавтор исследования, поднимает важный вопрос. Всё больше американцев обращаются к чат-ботам, а не к специалистам по вопросам психического здоровья . Нетрудно понять, почему. Чат-бот доступен круглосуточно, не осуждает, не стоит 200 долларов в час и не требует трёхмесячной очереди.

Но эта доступность имеет свою цену. Чат-бот не может читать язык тела, улавливать нюансы голоса, не может позвать на помощь, если почувствует неминуемую опасность. Он может только обрабатывать текст и давать ответы на основе статистических закономерностей, не полностью понимая эмоциональную нагрузку слов.

Исследователи обнаружили, что Клод из Anthropic вместо этого отвечал на косвенные, но потенциально опасные вопросы.

Реакция компаний

Компания Anthropic заявила, что рассмотрит результаты исследования . Этот ответ не обещает ничего или почти ничего. OpenAI и Google пока не дали публичных комментариев, но, вероятно, уже дорабатывают свои алгоритмы втайне.

Проблема в том, что каждое изменение создаёт новые проблемы. Ужесточение фильтров означает блокирование законных диалогов. Ослабление же их грозит трагедией. Найти баланс сложно.

Чья это ответственность?

Это исследование поднимает неудобные вопросы о роли чат-ботов в нашем обществе . Должны ли они быть психотерапевтами ? Друзьями? Энциклопедиями? Цифровыми нянями? Технологические компании хотят, чтобы они выполняли всё это и даже больше, но при этом не берут на себя юридическую и этическую ответственность, которую влечет за собой эта роль.

Кто несёт ответственность, если чат-бот выходит из строя? Компания, её создавшая? Пользователь, задавший неправильный вопрос? Общество, которое возвело в ранг нормы идею поиска эмоциональной поддержки у машины?

Национальный институт психического здоровья профинансировал это исследование, поскольку осознаёт, что чат-боты на основе искусственного интеллекта стали неотъемлемой частью социальной жизни. Мы больше не можем притворяться, что это просто развлечение. Это инструменты, которые люди используют в самые уязвимые моменты своей жизни, когда неправильная реакция может иметь необратимые последствия.