Сенсационный эксперимент: искусственный интеллект с разгромным счетом победил врачей

Кажется, ChatGPT вполне успешно может пройти тест для получения лицензии на медицинскую деятельность, изумляются ученые.

Фото: Shutterstock

«МНЕ ТОЛЬКО СПРОСИТЬ»

Как часто вам бывает нужен врач «только спросить»? Например: когда лучше принимать лекарство - утром или вечером, если в инструкции ничего не сказано? Нужно ли срочно сбивать давление гипертонику, если оно поднялось на 10 или 20 мм рт ст? Какие капли помогут, если воспалились глаза? В общем, вопросов море, и с каждым к врачам не набегаешься. Поэтому люди ищут ответы в интернете, в том числе, на пациентских форумах. Там и сами больные личным опытом делятся, и врачи консультируют.

В США на одной из популярных интернет-платформ для обсуждения здоровья Reddit AskDocs ответы дают исключительно лицензированные медработники. А что, если… озадачить теми же вопросами искусственный интеллект? Такой идеей загорелись исследователи Калифорнийского университета в Сан-Диего (США). Конечно, самовольно экспериментировать на форуме их никто не допустил. Ученые сами путем случайной выборки выделили 195 вопросов пациентов, на которые уже ответили реальные доктора. И... загрузили просьбы больных о помощи в ChatGPT версии 3.5. Напомним, это чат-бот, генерирующий ответы с помощью искусственного интеллекта. Та самая скандальная нейросеть, которой пугает человечество Илон Маск, и которая этой зимой успешно написала диплом вместо одного из российских студентов.

Получив ответы ChatGPT, исследователи скопировали с сайта консультации живых врачей по тем же запросам. И — представили материалы на суд авторитетного медицинского жюри. Да-да, оценить грамотность ответов попросили именно лицензированных медработников. Причем, они не знали - где советы их коллег, а где консультации нейросети. То есть для объективности судили вслепую. При этом, кроме качества информации в ответах, перед жюри поставили задачу оценить доступность изложения и эмпатию (сочувствие, сопереживание пациентам).

Результат эксперимента, как говорится, превзошел все ожидания.

«ВЫ НАСТОЯЩИЙ ВРАЧ!»

Кажется, ChatGPT вполне успешно может пройти тест для получения лицензии на медицинскую деятельность, изумляются ученые. А как иначе, если почти в 80% случаев нейросеть выдала такие консультации, что сами медики - члены жюри предпочли их ответам своих живых коллег!

Конкретнее впечатляющие результаты выглядят так:

- оценки «очень хорошо» и «хорошо» получили 78% ответов ChatGPT. И всего 22% ответов реальных врачей! То есть, чат-бот обошел докторов примерно в 3,6 раз;

- консультации нейросети в большинстве случаев более информативны, в них больше нюансов, важных для пациентов, отметило жюри (напомним еще раз, что изначально его члены не знали авторство ответов);

- «очень эмпатичные» и «эмпатичные» - так оценили 45% ответов чат-бота и 4,6% ответов реальных медиков. То есть бездушная машина «входит в положение пациентов», «сочувствует» им почти в 10 раз эффективнее. Каково?!

В общем, как ни крути, ChatGPT оказался намного эмпатичнее и грамотнее реальных врачей - консультантов. По крайней мере, в данном исследовании.

Фото: Shutterstock

НЕ КОНКУРЕНТ, А ПОМОЩНИК

«Результаты нашего эксперимента показывают, что помощники с искусственным интеллектом могут быть полезны при составлении ответов на вопросы пациентов», — пишут авторы научной работы. То есть сами исследователи даже не заикаются о том, чтобы заменять реальных медиков чат-ботами.

Во время пандемии COVID-19 произошел всплеск интереса к «виртуальному здравоохранению», отмечают ученые. То есть, небывалыми темпами стали развиваться сервисы телемедицинских консультаций, дистанционной поддержки для пациентов через мобильные приложения, специальные онлайн-платформы и т. д. И, если о коронавирусе мы уже почти забыли, то желание граждан получать онлайн-консультации медиков в любое время и в любом месте не только не уменьшается, но и растет. «Это ведет к увеличению количества работы и выгоранию медицинских работников», — отмечают эксперты Калифорнийского университета. А нейросети смогли бы помочь общаться с пациентами «путем составления ответов, которые могут быть рассмотрены врачами», поясняют ученые. Чтобы выяснить, насколько оправдана такая идея, и было проведено соответствующее исследование.

В дальнейшем хорошо бы продолжить изучение этой технологии (ChatGPT) в клинических условиях, размышляют авторы эксперимента. И проверить на практике: может ли использование искусственного интеллекта снизить выгорание врачей и улучшить результаты лечения пациентов.

КОММЕНТАРИЙ ЭКСПЕРТА

«Диагнозы, поставленные ИИ — это красивые слова без контроля и ответственности»

Не боятся ли медики конкуренции с искусственным интеллектом? Как нейросети удается быть более эмпатичной, сочувствующей в общении с пациентами? Об этом мы спросили доктора медицинских наук, профессора, председателя правления Московского городского научного общества терапевтов Павла Воробьева.

- Искусственный интеллект, конечно, более эмпатичен. Он гораздо лучше «вяжет» слова, чем человек. Потому что для нейросети это единственная задача, на которую он рассчитан и с которой может справляться. Реальный врач такие фокусы выделывать не будет (подбирать подробные сочувственные формулировки. - Ред.). Потому что доктор привык работать с больным, а не писать красивым слогом. В банальных ситуациях, самых простых случаях ИИ может попадать в тему - давать правильные ответы. Пациент будет думать: ух, как здорово, чат-бот определил, что у меня грипп, а не геморрой. Но дальше дело не пойдет. Потому что на практике нужно разбираться - а грипп ли это на самом деле? Или микоплазменная инфекция, или ковид. В такой ситуации ИИ справиться уже не сможет.

А еще он врет, как сивый мерин. Примеров тому масса. Один мой коллега, специалист по узкой медицинской тематике, задал вопрос чат-боту. И получил совершенно фантастический набор из десятков научных статей, монографий, книг. Коллега очень расстроился: как же так, я на этом специализируюсь, а столько всего упустил. Потом стал проверять. А ни одной статьи нет. ИИ просто выдумал, сочинил их! И это отнюдь не редкость. Так что не дай бог, если бы в медицине нейросети занялись полноценной диагностикой и за ними было бы последнее слово.

В то же время вполне целесообразно отдать ИИ рутинную работу врачей, считает эксперт.

- Например, опросить больного и задокументировать симптомы, историю болезни. Обработать данные ЭКГ, МРТ, КТ и так далее. Такая рутина все больше передается машинным алгоритмам. Это оправданно и эффективно. А врачам придется иметь дело с возрастающим объемом информации, будет требоваться все более высокий уровень интеллектуального труда. Те, кто справится с этим, точно не останутся без работы.

СЛУШАЙТЕ ТАКЖЕ

Искусственный интеллект на тропе войны: как сегодня применяют ИИ на поле боя (подробнее)