“의사보다 AI가 뛰어났다”.... 임상진단서 AI는 10점 만점, 의사는 8~9점

일러스트=김성규

1일(현지 시각) 미국 의사회 내과학회지(JAMA Internal Medicine)에 오픈AI의 챗GPT-4가 의학적인 임상 추론에서 의사보다 뛰어난 능력을 보였다는 연구 결과가 발표됐다. 현직 의사 39명과 GPT4에 같은 환자 사례를 제공하고 진단하도록 했더니 진단의 정확도와 효율성, 근거 제시 등 평가 항목에서 AI가 더 높은 점수를 받았다는 것이다. 연구를 진행한 미국 베스 이스라엘 디코니스 메디컬 센터(BIDMC) 애덤 로드먼 박사는 “환자를 위한 의료 서비스의 질을 AI(인공지능)로 개선할 수 있게 됐다”고 밝혔다.

의료계에서 AI 활용이 본격화되고 있다. 로봇 수술 분야에는 더 정밀한 수술을 위해 AI를 활용하는 것은 이미 보편화되고 있다. 나아가 AI를 이용한 의학 데이터 분석이나 신약 개발도 확대되고 있다. 최근에는 의사의 경험과 노하우가 필요해 침범하기 어려운 영역으로 여겨졌던 진단에도 AI가 도전하고 있다. 특히 챗GPT 같은 생성형 AI가 기본적 진단은 의사보다 잘할 수 있다는 일부 연구 결과가 나오면서 일각에서는 ‘AI 의사’에게 진료받는 날이 멀지 않았다는 전망까지 나온다.

그래픽=김성규

◇GPT4 진단, 10점 만점에 10점

BIDMC 연구진은 임상 사례 20개를 마련한 후 실험에 참가한 의사 39명에게 무작위로 1개 사례를, GPT4에는 20가지 사례를 모두 제공해 이에 대한 진단을 하도록 했다. 이들이 내놓은 진단을 ‘환자의 병력과 중요한 검사를 검토했는지’ ‘주요 문제를 해석했는지’ ‘대체 진단을 제공했는지’ 등 평가 기준에 따라 10점 만점으로 분석했다. 분석 결과 GPT4는 20개 문제의 평균 점수가 10점이었던 반면 실험에 참가한 내과 주치의 21명의 평균 점수는 9점, 레지던트 18명의 평균 점수는 8점을 기록했다. 다만 GPT4는 완전히 잘못된 진단명을 내놓는 사례도 레지던트보다 많은 한계도 있었다. 잘못된 진단의 경우 평가가 불가능해 제외함으로써 평균 점수에는 반영되지 않았다. 의료 AI 모델 연구를 진행 중인 김중희 분당서울대병원 응급의학과 교수는 “정제되어 있는 사례에 대해서는 챗GPT와 같은 생성형 AI가 더 ‘그럴싸한 진단’을 내놓을 수 있다”며 “하지만 실제로 현장에서 진료를 한다고 생각하면 환자와 의사의 상호작용이 필수적이기 때문에 의사의 진단 능력을 AI가 따라오기 힘들 것”이라고 했다.