매번 처음이었던 AI, 드디어 '경험'을 기억하기 시작했다

AI에게는 '어제'가 없었습니다

우리가 대화하는 AI는 똑똑해 보이지만, 한 가지 결정적인 약점이 있습니다. 바로 경험이 쌓이지 않는다는 것입니다.

사람이라면 어제 실수한 일을 오늘 반복하지 않습니다. 의사는 지난주에 오진했던 환자의 증상을 오늘 비슷한 환자에게서 발견하면, 즉시 "아, 이번엔 다르게 접근해야겠다"고 생각합니다. 하지만 기존 AI는 다릅니다. 어제 본 환자에게서 무엇을 배웠든, 오늘 새로운 환자 앞에서는 다시 백지 상태로 돌아갑니다.

이 한계를 정면으로 풀어낸 연구가 최근 arXiv에 공개됐습니다. 제목은 「Evo-MedAgent: Beyond One-Shot Diagnosis with Agents That Remember, Reflect, and Improve」. 한국어로 옮기면 "한 번의 진단을 넘어: 기억하고, 돌아보고, 성장하는 의료 에이전트" 정도입니다.

AI에게 '수첩 세 권'을 쥐여줬습니다

연구진의 접근은 의외로 단순했습니다. 의사가 가진 인지적 습관을 세 종류의 수첩으로 분리해 AI에게 제공한 것입니다.

수첩 1. 과거 환자 기록

AI가 새로운 환자를 진단할 때, 먼저 비슷한 과거 사례를 찾아봅니다. "전에 이런 증상으로 왔던 환자는 결과가 어땠지?"를 스스로 되짚어보는 과정입니다. 의사가 유사 환자의 기억을 떠올리는 순간과 같습니다.

수첩 2. 자기만의 진단 원칙

"기침과 미열이 함께 나타나면 먼저 산소포화도부터 확인하라"처럼, AI가 진단 과정에서 얻은 규칙을 스스로 쌓고 다듬어 갑니다. 틀렸던 판단은 수정되고, 반복되는 패턴은 강화됩니다. 숙련된 의사가 경력 속에서 자기 진단 기준을 정제해 가는 방식과 닮았습니다.

수첩 3. 도구 신뢰도 장부

의사가 어떤 장비의 결과를 신뢰하고 어떤 것을 한 번 더 검토해야 하는지 감으로 아는 것처럼, AI도 어떤 분석 도구가 믿을만한지 경험으로 축적합니다. 부정확했던 도구의 결과는 다음부터 가중치가 낮아집니다.

성능은 얼마나 달라졌을까요

연구진은 흉부 X선 진단 벤치마크(ChestAgentBench)에서 성능을 측정했습니다. 결과는 다음과 같습니다.

• GPT-4o mini: 정답률 68% → 79%
• Gemini-3 Flash: 정답률 76% → 87%

같은 AI 모델에 '수첩 세 권'만 붙였을 뿐인데, 진단 정확도가 두 자릿수 차이로 올라갔습니다. 흥미롭게도 기본 성능이 좋은 AI일수록 경험 축적의 효과가 더 크게 나타났습니다.

왜 이 연구가 특별한가

일반적으로 AI의 성능을 끌어올리려면 방대한 데이터로 다시 훈련해야 합니다. 수십억 개의 매개변수를 재조정하는 이 과정에는 막대한 비용과 시간이 필요합니다.

그런데 Evo-MedAgent의 방식은 다릅니다. AI 모델 자체는 손대지 않고, 옆에 '경험을 쌓는 장치'를 붙였을 뿐입니다. 이미 서비스 중인 AI에도 곧바로 적용할 수 있다는 의미입니다.

이는 단순한 성능 개선을 넘어서, AI가 발전하는 방식 자체에 대한 새로운 관점을 제시합니다. 지금까지 AI의 성장은 '더 큰 모델, 더 많은 데이터'라는 공식으로 정리돼 왔습니다. 하지만 이 연구는 '경험을 축적할 구조를 설계하는 것'만으로도 의미 있는 진전이 가능함을 보여줍니다.

사람이 일하는 방식에 가까워지는 AI

결국 이 연구의 핵심 메시지는 분명합니다. 지능이란 단순히 아는 것의 총합이 아니라, 경험을 통해 다듬어지는 판단력이라는 사실을 AI 설계에 반영하기 시작했다는 점입니다.

의료 현장에서 축적되는 경험, 반복되는 오류에서 얻는 교훈, 신뢰할 수 있는 도구를 구분하는 안목. 이런 것들은 오랫동안 '사람의 영역'으로 여겨졌습니다. Evo-MedAgent는 이 영역에 AI가 어떻게 접근할 수 있는지를 구체적으로 보여준 하나의 실마리입니다.

AI가 더 똑똑해지는 길은 이제 두 갈래입니다. 더 많이 배우게 하는 길, 그리고 지금까지의 경험을 잊지 않게 하는 길. 두 번째 길이 본격적으로 열리기 시작했습니다.