Медицинские диагнозы от ИИ опасны


13 апреля журнал Американской медицинской ассоциации Jama Network Open опубликовал результаты тестирования ведущих ИИ-моделей, в том числе OpenAI, Anthropic, Google, xAI и DeepSeek. Процент ошибок превысил 80% во всех случаях, если диагностику пациента проводили, опираясь на неполные данные.

Про то, что опасно доверять ставить медицинские диагнозы так называемому искусственному интеллекту (ИИ), говорили и ранее, и исследование дало очередное подтверждение этому, отмечает IT-редакция ИА Красная Весна.

При предоставлении полных данных число неправильных диагнозов снизилось до 40%, а в некоторых случаях до 10%. Но это не может вселять надежду, так как определить, когда данные полные, а когда нет, может только специалист.

Пациент в реальной жизни редко приходит к врачу с полным комплектом анализов. Но бот всегда «спешит» выдать единственный «верный» ответ, игнорируя множество факторов, а потом еще может уверять, что всё правильно и других вариантов быть не может.

В ходе исследования проявилось фундаментальное свойство нейросетей. Они абсолютно не приспособлены к критическому мышлению и «плавают» в условиях неопределённости. Сценарий, когда пациент плохо объясняет симптомы, данных мало, норма для опытного врача, но катастрофа для чат-бота. К этому добавляется то, что боты не умеют оценить вид и ощущения, пациента. А еще могут быть и избыточные данные, которые затруднят работу, например, при описании кашля пациент может пожаловаться на то, что чешется левая пятка.

Проблема тут в том, что перед нейросетями стоят две задачи: угождать пользователю и говорить правду. Когда эти задачи вступают в противоречие, то ответ модели становится непредсказуемым. Вспоминается фильм Стэнли Кубрика «2001: Космическая одиссея», когда бортовой суперкомпьютер HAL 9000 начал «сходить с ума» из-за того, что его заставили скрывать от космонавтов цель миссии. При этом миллиардер Илон Маск, который в том числе занимается разработками в сфере ИИ, считает этот конфликт в фильме главным уроком от Кубрика.

Цифровые помощники могут стать мощным инструментом для реального специалиста. Они могут обратить внимание на то, что упущено из виду, но использовать их как способ диагностики — опасно для жизни, даже если это специализированные модели, созданные для медицинских целей. Нейросети настроены на правдоподобие, а не на правду.

glavno.smi.today