AI 에이전트 규모 경제: 비용 효율성과 플랫폼 엔지니어링의 중요성

구글의 에이전틱 데이터 클라우드 책임자인 앤디 구트만스는 스택 오버플로우의 피터 오코너 플랫폼 엔지니어링 디렉터와의 대화에서 AI 에이전트가 대규모로 운영될 때의 경제성과 플랫폼 엔지니어링의 변화에 대해 논의했다. 구트만스는 AI 모델 자체의 지속적인 개선에도 불구하고, 많은 자동화 작업에 현재 모델들이 충분히 좋다고 평가하며, 모델 성능 향상보다는 전체 시스템 최적화와 비용 효율성에 초점을 맞춰야 한다고 강조한다. 특히 인간이 수동으로 작업을 수행하던 방식에서 수십, 수백 개의 AI 에이전트가 24시간 작동하는 '에이전트 규모(agent scale)'로 전환되면서 비용 거버넌스의 중요성이 커진다고 설명한다.

구트만스는 AI 모델 자체가 더 이상 병목 현상이 아니라는 관점을 제시한다. 그는 이 문제를 모델, 하네스(harness), 컨텍스트, 개인화를 포함하는 '시스템 전체(system as a whole)'의 문제로 접근해야 한다고 말한다. 목표는 가장 낮은 비용으로 작업을 수행하는 데 필요한 최소한의 정교한 모델을 사용하는 것이며, 이는 사용 사례에 따라 달라질 수 있다. 예를 들어, Gemini 3.5 Flash는 저비용으로 효율적인 반면, Gemini Pro는 더 복잡한 상황에 적합하다. 그는 '토큰 최대화(token maxing)'가 잘못된 목표이며, 필요한 컨텍스트를 제한하고 추론 루프를 줄여 토큰 처리량을 감소시키는 것이 중요하다고 강조한다.

구글은 딥마인드의 모델 개발 역량과 자체 데이터 플랫폼을 결합하여 모델과 데이터를 함께 '힐 클라이밍(hill climbing)'하는 방식으로 이 문제를 해결한다. 이는 어떤 컨텍스트가 실제로 결과에 영향을 미치는지 평가(evals)를 통해 파악하고, 모델과 지식을 함께 최적화하는 과정이다. 특히 '검색(search)' 기능은 어떤 컨텍스트가 관련성이 높은지 파악하는 데 핵심적인 역할을 한다. 구트만스는 컨텍스트 문제가 매우 어려운 과제이며, 어떤 벤더도 이를 완전히 해결했다고 주장하는 것은 정확하지 않다고 언급한다. 인간의 직관이 항상 에이전트에게 도움이 되는 것은 아니므로, 보다 체계적인 접근 방식이 필요하다는 점도 지적한다.

AI 에이전트의 도입은 아이디어 실험 비용을 크게 절감하는 효과를 가져온다. 구트만스는 자신이 주말 동안 프로토타입을 만들어 팀에 새로운 아이디어의 가능성을 보여주고 설계 위험을 조기에 줄일 수 있었던 경험을 예로 들었다. 이는 수개월이 걸리던 기존 방식에 비해 시간과 비용을 크게 절약하며, 잘못된 판단을 조기에 발견할 수 있게 한다. 이러한 변화는 기업 내 플랫폼 엔지니어링 팀이 개발자, 데이터 과학자, 비즈니스 사용자 외에 '에이전트'를 새로운 페르소나로 인식하고 서비스를 제공해야 함을 의미한다.

에이전트를 위한 플랫폼을 구축하기 위해서는 보안, 거버넌스, 비용, 가용성 및 확장성을 고려한 새로운 툴링과 관측성(observability) 플랫폼이 필요하다. 구트만스는 구글이 MySQL의 확장성 문제를 해결하기 위해 스패너(Spanner)를 개발했던 것처럼, 에이전트 시대에 필요한 인프라와 모범 사례를 구축해야 한다고 설명한다. 에이전트 규모에서는 단일 직원이 수십 또는 수백 개의 에이전트를 관리할 수 있으므로, AI 사용에 대한 거버넌스와 투자수익률(ROI) 측정이 필수적이다. 비용 통제가 없으면 에이전트가 24시간 작동하며 '비용 나선(cost spiral)'에 빠질 위험이 있기 때문이다. ROI는 단순히 토큰 사용량이 아니라, AI 투자가 차별화된 비즈니스 성과를 달성하는지 여부로 판단해야 한다.

이러한 변화 속에서도 데이터 과학자와 데이터 엔지니어의 역할은 여전히 중요하다. 구트만스는 에이전트 경험을 통해 이들의 역량을 증폭시킬 수 있으며, 데이터 품질 확보, 거버넌스, 분석 및 AI 활성화를 위한 데이터 준비 등 데이터 엔지니어링의 중요성을 강조한다. 또한, 사기 탐지나 예측과 같은 많은 비즈니스 문제에서 머신러닝의 이점은 계속될 것이므로 데이터 과학자의 전문성도 필요하다고 덧붙인다. 에이전트가 작업을 대신 수행하면서 비즈니스 사용자와 개발자 간의 경계가 모호해지고, 의도 기반의 결과 달성이 중요해지면서 더 많은 기업 내 개인들이 AI를 활용할 수 있게 된다.

마지막으로 구트만스는 컴퓨터 과학을 전공하려는 학생들에게 세 가지 조언을 제공한다. 첫째, 컴퓨터 과학의 전통적인 기초(수학, 시스템 아키텍처 등)는 여전히 매우 중요하다. 기술의 최전선을 개척하기 위해서는 시스템이 어떻게 작동하는지에 대한 근본적인 이해가 필수적이다. 둘째, '에이전트 코딩(agentic coding)' 능력, 즉 에이전트를 활용하여 성과를 도출하는 능력이 필수적이다. 고용주들은 10배의 영향력을 발휘할 수 있는 인재를 찾을 것이다. 셋째, 비즈니스 문제에 대한 이해와 비즈니스 판단력(business judgment)이 중요해진다. 에이전트가 작업을 대신 수행하므로, 높은 수준의 비즈니스 문제를 정의하고 해결하는 능력이 더욱 가치를 갖게 될 것이라고 강조한다.