에이전트 AI 시대, 데이터센터 인프라도 워크로드에 맞춰야

[산업일보]
생성형 인공지능(AI)이 모델 중심에서 에이전트 중심으로 진화하면서 데이터센터 인프라의 설계 방향도 달라지고 있다. 대규모 언어모델(LLM)을 구동하기 위한 연산 성능 확보에 집중했던 기존 방식에서 벗어나 에이전트의 추론과 데이터 검색, 도구 호출, 작업 실행 등을 효율적으로 처리할 수 있는 인프라 구성이 중요해지고 있다는 분석이다.

12일 서울 코엑스에서 열린 '인텔 AI 서밋 서울'의 테크 키노트에서 아닐 난두리(Anil Nanduri) 인텔 AI 제품 및 GTM 부문 부사장은 에이전트 AI 시대에 필요한 데이터센터 인프라 전략을 제시했다.

난두리 부사장은 “지난 몇 년간 AI 시대는 더 큰 모델을 위해 더 큰 시스템을 어떻게 구축할 것인가라는 질문으로 정의됐다”며 “그러나 다음 단계의 AI는 상당히 다른 모습이 될 것”이라고 말했다.

그는 AI 에이전트가 단순히 답변을 생성하는 데 그치지 않고 추론과 데이터 검색, 도구 호출, 작업 실행, 결과 검증 등을 반복한다고 설명했다. 이 과정에서 모델이 생성하는 토큰뿐 아니라 실제 작업을 처리하고 결과를 검증하는 데 필요한 연산도 증가한다는 것이다.

특히 에이전트 AI의 활용이 확대될수록 토큰 소비량이 늘어나면서 데이터센터 운영 비용에도 영향을 미칠 것으로 내다봤다.

그는 “모델의 크기가 커져서 토큰 소비가 증가하는 것만은 아니다. 에이전트 AI가 상호작용하고 추론하는 과정에서 더 많은 토큰이 생성되고 사용된다”며 “이러한 비용은 결국 이를 배치하고 운영하는 인프라가 부담하게 된다”고 설명했다.

이 같은 변화는 CPU의 역할 확대와도 연결된다. 기존에는 AI 연산을 담당하는 GPU 확보가 데이터센터 구축의 주요 과제로 여겨졌지만, 에이전트 AI 환경에서는 작업을 적절한 모델과 연산 자원에 배분하고 실행 과정을 관리하는 역할도 중요해진다는 설명이다.

난두리 부사장은 “에이전트 AI 인프라를 생각할 때는 작업을 어떻게 오케스트레이션하고, 적절한 모델을 적절한 컴퓨팅 자원에 연결할 것인지 고민해야 한다”며 “이러한 작업은 점점 더 CPU의 기능이 되고 있다”고 말했다.

이어 “AI 모델이 토큰을 생성한 다음에는 이를 실행하고, 샌드박스 환경에서 처리하고, 검증하는 과정이 필요하다”며 “CPU는 이러한 의사결정과 제어 영역에서 중심적인 역할을 맡게 된다”고 덧붙였다.

인텔은 이러한 수요에 대응하기 위해 제온(Xeon) 프로세서 제품군을 데이터센터 인프라의 기반으로 제시했다. 최대 288개 코어를 제공하는 클리어워터 포레스트(Clearwater Forest)를 비롯해 제온 6 등을 통해 에이전트 작업의 실행과 자원 관리에 필요한 연산 밀도를 확보한다는 전략이다. CPU에 내장된 AMX와 데이터 압축 관련 가속 기술도 AI 및 데이터 처리 효율을 높이는 요소로 소개했다.

GPU 분야에서는 신규 데이터센터용 GPU 크레센트 아일랜드(Crescent Island)를 공개했다. 해당 제품은 350W의 전력으로 구동되는 PCIe 카드 형태로, 최대 480GB의 메모리와 초당 1.5TB의 메모리 대역폭을 지원한다. 기본 구성은 160GB 메모리를 제공하며, 다양한 데이터 유형을 처리하는 추론 작업을 겨냥했다.

난두리 부사장은 “개발자가 기존 인프라에서 새로운 환경으로 전환할 때 코어 선택이나 소프트웨어 호환성을 고민하지 않도록 하는 것이 우리가 약속한 부분”이라며 vLLM, SGLang 등 주요 AI 소프트웨어 생태계와의 지원 확대도 소개했다.