최근 METR에서 발표한 “Measuring AI Ability to Complete Long Tasks” 보고서는 AI 발전 추세에 대한 흥미로운 관점을 제시했습니다. 이 분석은 AI 기술을 활용하는 우리 모두에게 중요한 시사점을 던져주고 있어 오늘은 이 보고서의 핵심 내용과 제 생각을 공유하고자 합니다.
METR 보고서의 핵심: 작업 길이를 통한 AI 능력 예측
METR 연구진은 AI 성능을 측정하는 새로운 접근법을 제시했습니다. 그들은 AI가 얼마나 많은 정보를 알고 있는지가 아니라, 얼마나 긴 작업을 완료할 수 있는지에 초점을 맞췄습니다. 이 분석은 일전에 블로그에서 소개했던 SWE-Bench 라는 소프트웨어 개발 테스크 벤치 마크 중심으로 이루어 졌습니다. 따라서 소프트웨어 개발 테스크의 관점이라는 것을 인지할 필요가 있지만, 이걸 다른 업무에도 무리 없이 확장 할 수 있다는 것은 LLM의 능력과 현재 활용 커버리지 측면에서 볼 때 무리한 가정은 아닌거 같습니다.
이 연구의 핵심 가설은 매우 직관적입니다:
“AI 에이전트가 단일 단계를 해결하는 데 필요한 기술이나 지식이 부족하기보다는 더 긴 일련의 행동을 연결하는 데 어려움을 겪는 경우가 많다.”
이는 많은 AI 개발자와 사용자들이 실제로 경험하는 현상입니다. 현재의 AI는 개별 질문에 대해 놀라운 정확도를 보이지만, 복잡한 다단계 작업에서는 여전히 어려움을 겪습니다.
지수 함수로 표현되는 발전 속도
연구 결과에 따르면, AI가 완료할 수 있는 작업의 길이(인간 전문가 기준 시간)는 지난 6년간 약 7개월마다 두 배로 증가해왔습니다. 이 트렌드를 그래프로 그리면 완벽한 지수 함수를 그립니다.
현재 최고의 AI 모델(Claude 3.7 Sonnet 등)은:
- 인간에게 몇 분 걸리는 작업: 거의 100% 성공
- 인간에게 4시간 이상 걸리는 작업: 10% 미만 성공
그러나 이 지수 함수적 성장이 계속된다면, 불과 2-4년 내에 AI는 주 단위 작업을 처리할 수 있게 될 것입니다. 더 최근 데이터(2024-2025년)만 고려하면 이 시점은 약 2.5년으로 더 앞당겨질 수 있습니다.
기술 프로덕트의 수명을 재고해야 할 시점
이러한 예측 결과는 제게 깊은 생각을 하게 만듭니다. 지금 우리가 만들고 있는 기술과 프로덕트의 수명을 어떻게 가늠해야 할까요?
AI가 연속적인 작업을 처리하는 능력이 지수적으로 향상된다면, 다음과 같은 질문을 던져볼 필요가 있습니다:
- 현재 개발 중인 솔루션은 얼마나 오래 경쟁력을 유지할 수 있을까?
- 인간 전문가가 수행하는 어떤 작업들이 가장 먼저 자동화될까?
- AI와 공존하는 비즈니스 모델을 어떻게 설계해야 할까?
실용적인 관점에서 바라보기
METR의 보고서는 흥미롭지만, 모든 예측과 마찬가지로 불확실성이 존재합니다. 그럼에도 몇 가지 실용적인 관점을 제시하고 싶습니다:
1. 적응형 기술 포트폴리오 구축
AI 발전 속도가 빠르다면, 단일 기술이나 접근법에 모든 것을 걸기보다는 다양한 기술 포트폴리오를 구축하는 것이 중요합니다. 특히 AI와 협업하는 워크플로우를 설계하는 데 중점을 두어야 할 것 같습니다.
2. 인간 고유의 가치에 집중
AI가 점점 더 많은 작업을 자동화할 수 있게 되면서, 인간 고유의 가치(창의성, 직관, 공감 등)를 발휘할 수 있는 영역에 집중하는 것이 중요해집니다. 창의성, 직관은 결국 AI가 현재 잘 못하는 연결의 영역입니다. 이 부분에 대한 인간 효율 증대가 필요하지 않을까 하는 생각을 해봅니다(‘인간’ 이라는 표현이 AI 스럽군요. ㅜ ).
3. 지속적인 학습과 적응
이러한 급격한 변화 속에서 성공하려면 지속적인 학습과 적응이 필수적입니다. 새로운 기술을 배우는 것 뿐만 아니라, 빠르게 변화하는 환경에 적응하는 능력도 중요할 것입니다.
미래를 바라보되, 현실에 발 딛기
METR의 예측이 정확하다면, 2027-2028년경 우리는 AI가 일주일 단위의 복잡한 작업을 수행하는 세상에 살게 될 것입니다. 이것은 기술 산업뿐만 아니라 사회 전반에 큰 변화를 가져올 것입니다.
하지만 이러한 미래를 바라보면서도, 현실에 발을 딛고 있어야 합니다. 지금 당장 AI는 여전히 한계가 있으며, 인간의 지도와 감독이 필요합니다.
가장 현명한 접근법은 미래의 가능성에 대비하면서도 현재 기술의 실제 능력을 현실적으로 평가하는 것입니다. AI의 발전 속도가 지수 함수를 따른다면, 우리의 전략과 사고방식도 그에 맞춰 진화해야 할 것입니다.
끝!
