바이오스펙테이터

바이오스펙테이터 장종원 기자

이상완 카이스트 교수, 'Bioexcellence & Biosymposium'서 소개..동물행동실험, 움직임 조절 등에 활용

"심층강화학습(Deep Reinforcement learning)은 많은 과학자들이 동물 실험이나 임상에서의 질병 진행과 같이 시시각각 변화하는 동적인 상황을 원하는 방향 및 상태로 나아갈 수 있도록 하는 최적의 전략이다. 10년 전부터 꾸준히 연구되던 심층강화학습은 대량의 정보를 처리할 수 있는 딥러닝(Deep learning) 기술과 접목되면서 약물개발과정이나 실제 임상 분야에서 새로운 문제해결방안으로 주목 받고 있다."

이상완 카이스트 교수는 4일 충북 오송 C&V센터에서 열린 'Bioexcellence & Biosymposium'에서 신약개발을 촉진할 수 있는 새로운 기술로 심층강화학습을 제시했다. AI와 신경과학을 접목한 연구를 수행 중인 그는 심층강화학습의 개념과 약물개발 및 의료 분야에의 적용에 대한 사례를 소개했다.

그는 "특정 문제를 해결하는 방식으로는 크게 2가지를 들 수 있다. 하나는 이미 주어진 데이터를 보고 데이터의 양상을 가장 잘 묘사할 수 있는 방법을 찾는 것으로 약물독성 테스트와 유전자 시퀀싱 등이 이에 해당한다. 또 다른 하나는 주어진 데이터를 바탕으로 답을 찾는 것이 아니라 시시각각 변화하는 동적인 시스템에서 이 시스템을 원하는 방향 및 상태로 움직이도록 하는 최적의 방법을 찾는 것이다. 이러한 동적 시스템의 예로는 동물행동실험이나 움직임 조절, 체내 신호전달 체계 등이 있다"고 말했다.

이렇게 변화하는 시스템을 원하는 방향으로 조정, 유도하기 위한 최적의 전략을 찾기 위해서는 실행시점(타임포인트)에서 어떠한 행동을 해야 되는가를 세밀하게 분석해야 한다. 이 교수는 "이러한 종류의 문제는 상황 전개에 따라 정답이 바로 주어지지 않으며 경우의 수가 많아 그 해결 난이도가 높다"며 "이에 대한 대안으로 제안된 도구(tool) 중 하나가 바로 강화학습"이라고 설명했다.

강화학습은 어떤 시점에 주어지는 데이터를 가지고 최적의 조정 전략을 세우기 위한 방법으로 현재 상황에서 어떠한 행위를 할 때 목표점에 도달할 수 있는지에 대한 확률을 계산한다. 이상완 교수는 "정보를 바탕으로 행한 행위의 다음 상황에 대해 스스로 추정치를 계산함으로써 실제와 예상치를 줄여나가는 강화학습은 동적이고 불확실한 환경에서도 최적의 상황으로 수렴할 수 있도록 도와준다"고 전했다.

그는 이러한 강화학습에는 여러 가지 접근방법이 있다고 소개했다. 하나는 다이나믹 프로그래밍(Dynamic programming) 방법으로 현재 상황에서 다음에 있을 법한 상황에 대한 모든 경우의 수를 고려해서 전략을 분석하는 것이다. 이 방법은 굉장히 많은 경우의 수가 발생하기 때문에 한가지 전략을 선택해 끝까지 수행한 뒤 결과와 기전을 분석하는 몬테카를로 컨트롤(MC control) 방법과 1가지만 선택해서 스스로의 추정가치를 평가하는 TD 러닝(TD learning)법 등도 많이 사용된다. 이 교수는 "10여 년간 연구된 강화학습 기술에 대량의 정보를 다룰 수 있는 딥러닝을 적용함으로써 더 스케일이 큰 상황에도 강화학습분석을 적용할 수 있게 됐다. 대표적인 것이 약물 개발"이라고 말했다.

이 교수는 딥러닝과 강화학습을 접목한 심층강화학습을 어떻게 약물개발과정 또는 임상치료현장에 적용할 수 있는지 예시를 들어 설명했다.

"의료현장에서 어떤 환자의 데이터와 파악한 질병 상황을 바탕으로 어떤 치료를 순차적으로 적용해야 완치라는 단계로 나아가도록 조절할 수 있는지 전략을 세우는데 심층강화학습을 활용할 수 있다. 또, 환자의 질병을 진단하는 과정에서 10개의 검사가 필요하다고 가정해보자. 10개의 검사를 모두 하는 것은 시간적, 비용적 측면에서 비효율적일 수 있다. 이러한 상황에서 심층강화학습을 적용하면 가장 우선 진행하는 검사 결과에 따라 어떤 검사를 순차적으로 적용해야 하는지 분석해 전략을 세울 수 있고 그에 따라 10개의 검사를 모두 거치지 않고서도 질병을 확진할 수 있는 데이터를 얻을 수 있다."

그는 "의료 현장에서 결국 최종 진단 및 결정을 하는 것은 의사다. 따라서 어떻게 하면 인간 전문가와 AI 알고리즘 간 최적의 교류가 가능한가에 대한 해법을 찾기 위한 연구를 진행하고 있다"고 밝혔다.

이 교수는 "증상과 검사로 얻은 데이터를 인공 지능 딥러닝을 활용해 여러 가지 측면으로 융합, 심층적으로 분석함으로써 좀 더 효율적으로 질병을 이해할 수 있으며 이를 약물 개발 및 치료에 적용할 수 있다"고 강조했다.