Попытка искусственного интеллекта уподобиться Богу провалилась
Стало известно, что IBM — один из лидеров-разработчиков в сфере искусственного интеллекта (ИИ) продает когнитивную систему Watson Health (см. ссылку), которая должна была совершить революцию в медицине. Это более чем странно, учитывая уникальность системы WH, которая способна не только генерировать колоссальные объёмы медицинской информации, но и распознавать малейшие отклонения в состоянии здоровья пациентов, которые может упустить даже высококвалифицированный врач с многолетним опытом…..
Идея создания Watson Health родилась в голове генерального директора IBM Вирджинии «Джинни» Рометти в 2011 в результате фантастического триумфа IBM. Разработанный в компании ИИ Watson, победил тогда людей — чемпионов игры Jeopardy! (оригинальный вариант нашей «Своей игры»). По замыслу Рометти, Watson Health должен был способствовать победе человечества над онкологическими заболеваниями, а компании IBM победить Google в главной гонке ХХI века — за первенство в сфере ИИ.
Когнитивная система IBM Watson была названа в честь ее создателя Томаса Уотсона. Разработчикам удалось сотворить суперкомпьютер, который способен обрабатывать информацию наравне с человеческим разумом. Прежде, чем сделать определенный вывод, аналитическая платформа IBM Watson проходит такие стадии, как:
- исследование вопроса;
- первичный поиск и генерацию гипотез;
- фильтрацию результатов;
- выборку фактов и анализ их качества;
- объединение результатов и их оценку.
Таким образом, суперкомпьютер обрабатывает человеческий язык и оперативно дает ответы на самые сложные вопросы. Медицина – не единственное направление работы IBM Watson. Составить прогноз погоды, придумать оригинальный кулинарный рецепт и даже вести свой собственный бизнес становится намного проще с данной системой. Но в перспективе она будет преимущественно использоваться в сфере здравоохранения…
Суть проекта WH заключалась в следующем:
- ИИ Watson знает о болезнях всё, что о них написано докторами в историях болезней, в базах данных и в материалах, выложенных в сеть Интернет (никакая команда врачей не способна прочесть и сотой доли этого).
- ИИ Watson способен читать всё это и выискивать в прочитанном нужную информацию за считанные секунды (людям же потребуется на это годы).
- ИИ Watson не подвержен когнитивным нарушениям, которые могут сбивать с толку врачей.
- ИИ Watson способен к столь сложному анализу, что уровень его диагнозов просто недостижим для докторов, подобно тому, как недостижим уровень игры сегодняшних алгоритмов DeepMind в шахматы и Го.
Оставалось лишь малое. Научиться мгновенно передавать интеллект и опыт ИИ Watson в больницы и клиники по всему миру, чтобы уменьшить количество ошибок диагностики, а также оптимизировать и уменьшить нехватку врачей — не заменяя их, а помогая им выполнять свою работу быстрее и лучше!
На это были потрачены миллиарды долларов и семь лет. Но в итоге…..
Внутренние документы IBM свидетельствуют, что разработанный компанией медицинский ИИ Watson совершает врачебные ошибки. Онкологи раскритиковали небезопасные и некорректные методы лечения рака, которые алгоритм предлагает пациентам. После утечки в IBM объявили, что описанные случаи — просто часть процесса обучения.
Свидетельства ошибок в работе системы «Watson для онкологии» были обнаружены в двух презентациях, представленных в июне и июле 2017 года бывшим заместителем руководителя проекта Эндрю Норденом. Они сразу же были переданы в управление IBM Watson Health.
В отчёте Нордена также сообщается, что Watson предлагает некорректные методы лечения, которые могут привести к смерти пациента. Это ставит под вопрос состоятельность технологии и используемых в ней баз данных.
Вот один из таких случаев: 65-летнему мужчине диагностировали рак легкого, обнаружилось сильное кровотечение. Watson предложил пациенту химиотерапию и лекарство бевацизумад. Однако этот препарат противопоказан людям с кровотечениями — он может вызвать тяжелое или смертельное кровоизлияние. К счастью, отмечает Gizmodo, эта рекомендация была дана в ходе тестирования системы, а не реальному пациенту.
Согласно документам, в ошибках Watson виноваты инженеры IBM и медики из Мемориального онкологического центра им. Слоуна-Кеттеринга (MSK), которые с 2012 года учат ИИ «думать как врач». Вместо того, чтобы в процессе тренировки «скармливать» алгоритму реальные истории болезней, они использовали искусственно сгенерированные «синтетические» случаи. В итоге Watson давал реальным пациентам рекомендации, основанные на гипотетических пациентах, придуманных в MSK.
Врачи быстро заметили проблемы с Watson: во внутренний отчёт включены жалобы многих из них. Например, некий врач из клиники Джунипер, штат Флорида, не стесняясь называет его «кучей дерьма».
Он утверждает, что ИИ Watson бесполезен в большинстве случаев. При этом такая позиция противоречит интервью, которое представители клиники дали год назад изданию Gizmodo: в нём не содержалось никакой критики алгоритма.
Спустя время Эндрдю Норден отказался комментировать информацию о врачебных ошибках Watson, ссылаясь на то, что больше не работает в IBM. Он покинул компанию ради поста в Cota — компании, специализирующейся на медицинской аналитике.
Представители MSK заявили, что содержащаяся во внутренних документах критика «отражает процесс настройки системы». В IBM добавили, что «Watson для онкологии» постоянно совершенствуется: только в прошлом году он получил 11 (!) обновлений. В основе лежат обратная связь с клиентами и новые научные данные.
В настоящее время система «Watson для онкологии» используется в 230 больницах по всему миру и помогает лечению 13 видов рака у 84 000 пациентов (!!!).
Врачебные ошибки — не единственная проблема проекта Watson. Как отмечают эксперты, все подразделение IBM, занимающееся искусственным интеллектом, переживает кризис и медленно движется к краху. В конце мая в нём произошли массовые сокращения. Одна из их причин — в том, что Watson не приносит прибыли. По некоторым данным, в IBM уже не видят перспективы закрепиться на рынке услуг для здравоохранения. И вместо того, чтобы совершенствовать медицинский ИИ, Watson Health сосредоточилась на сотрудничестве со страховыми компаниями….
… Ни один врач в мире не пойдёт на проверку правильности «ходов» ИИ Watson. «Что дозволено Юпитеру, не дозволено быку». Врач, скрепя сердце, готов принять решение Бога, если больной умрёт в результате применённого этим врачом лечения. Но ИИ Watson не Бог, который вправе вершить вопросы жизни и смерти, ничего людям не объясняя. Врач не может поставить ИИ Watson вровень с Ним, целиком положившись на его решение.
Попытка ИИ уподобиться Богу в решении вопросов жизни и смерти сорвалась… из-за нежелания врачей слепо положиться на решения того, кого они Богом не считают. Вот почему Watson Health не совершил революцию в медицине и теперь его продадут (если, конечно, найдут покупателя)….
