바이오스펙테이터

바이오스펙테이터 김성민 기자

네덜란드 환자 386명 대상 폐결절 정확도, 7개 솔루션 비교 결과

의료 인공지능(AI) 기업 루닛(Lunit)은 폐결절 발견을 위한 다수의 AI 소프트웨어 및 전문의의 판독 능력을 비교한 연구결과가 영상의학분야 최고 권위지 래디올로지(Radiology, IF 19.7)에 게재됐다고 18일 밝혔다.

이번 연구는 네덜란드 라드바우드 대학병원(Radboud University Medical Center)의 프로젝트 AIR(Project AI for Radiology) 팀 소속 키키 지 반 리우벤(Kicky G. van Leeuwen) 연구팀이 주도했다. 연구팀은 지난 2012년 1월부터 2022년 5월까지 네덜란드 7개 병원에서 수집된 환자 386명의 흉부 엑스레이 데이터를 활용했다.

연구팀은 폐결절 탐지를 위해 루닛의 흉부 엑스레이 AI 영상분석 솔루션 '루닛인사이트 CXR’을 비롯해 독일 S사, 프랑스 M사, 리투아니아 O사, 호주 A사, 중국 I사 등 총 7개 AI 솔루션을 활용해 비교 분석했으며, 각각에 대한 평가 점수를 산출했다. 영상의학 전문의(Radiologist) 13명과 영상의학 전공의(Radiology Resident) 4명이 판독한 평균 결과도 비교 분석에 활용됐다.

연구 결과 AI 모델의 대표 성능평가 지표인 AUC(Area Under the Curve) 수치를 기준으로 했을 때, 루닛 인사이트 CXR의 폐결절 검출 능력은 0.93으로 연구 분석에 활용된 모든 AI 솔루션 중 가장 높은 수치를 나타냈다. 일반적으로 AUC가 1에 가까울수록 성능이 뛰어난 것으로 알려졌으며, 0.8 이상은 고성능 모델로 평가되는 수준이다.

또한 루닛 인사이트 CXR은 모든 AI 제품 및 영상의학 전문의보다 통계적으로 우수한 민감도(Sensitivity)인 89%를 보였으며, 특이도(Specificity)는 80%로 영상의학 전문의의 80%와 차이가 없었다.

이번 연구는 상용 AI 솔루션의 폐결절 검출 능력을 독립적으로 평가하고, 실제 의료 환경에서의 AI 적용 가능성과 효과성을 입증하는 데 중점을 뒀다. 특히 연구에서는 7개 중 4개의 AI 솔루션이 영상의학 전문의의 평균 판독 능력을 상회했다.

서범석 루닛 대표는 "이번 연구는 루닛 인사이트 CXR 성능에 대해 제3자 검증을 한 첫 논문이란 점에서 의미가 크다"며 "지난 2020년에는 최상위 의학저널인 '자마 온콜로지(JAMA Oncology)'에 게재된 제3자 검증 논문을 통해 루닛 인사이트 MMG가 타 제품 대비 우수함을 인정받은 만큼, 루닛은 현재 보유한 루닛 인사이트 모든 제품에서 세계 최고 성능을 다시 한 번 입증하게 됐다"고 말했다.