[알파경제=김민영 기자] 오픈AI의 토큰 처리량이 높아지며서 네오 클라우드 최적화 기업이 수혜를 입을 것이란 분석이 나왔다.

 

KB증권에 따르면, 인공지능 트렌드는 대형 언어 모델 (LLM)을 기반으로 생성형 AI에서 에이전틱 AI (추론형 AI)로 진화하고 있으며, 이에 따른 토큰 (언어 모델 처리 데이터 단위) 사용량도 약 20배 증가하면서 고성능 GPU에 대한 수요도 크게 증가하고 있다.

 

고성능 데이터센터의 성능은 저전력, 저지연, 고성능 GPU에 달려 있는 만큼 네트워크, 리타이머, AEC, 전력, 냉각 및 운영, 서버 랙, 저장장치, HBM 등의 최적화 관련 기업의 수요도 증가할 것으로 기대된다.

 

KB증권은 관련 기업으로 코어위브, 네비우스, 아이렌 ,어플라이드 디지털, 아리스타 네트워크, 아스테라 랩, 크레도 테크놀로지, 버티브, 델, 암페놀, 씨게이트, 퓨어 스토리지, 마이크론테크놀로지, 어플라이드 머티리얼즈를 제시했다.

 

오픈AI는 최근 개발자 데이(DevDay 2025)를 통해 자사 API 플랫폼이 분당 60억개의 토큰을
처리하고 있으며, 이는 지난 2년 동안 20배 증가한 수치라고 언급했다. 

 

김세환 KB증권 연구원은 "이는 지난 3월 엔비디아의 GTC 2025에서 젠슨황 CEO가 추론형 AI (Reasoning AI)로 인한 에이전틱 AI의 토큰 사용량이 기존 생성형 AI보다 약 20배 증가할 것으로 언급한 바와 같은 수치"라고 설명했다.

 

오픈AI는 ChatGPT의 주간 활성 사용자가 8억 명을 돌파했다고 발표했으며, 시장은 매달 약

420조개 이상의 토큰을 생성하고 있을 것으로 보고 있다. 구글 Gemini의 월간 사용자수는 약 5.5억 명으로 매월 토큰 생성량은 약 190조개에 달한다.

김세환 연구원은 "토큰(Token)은 언어 모델이 텍스트를 처리하는데 사용되는 데이터 단위 (단어 및 단어의 일부 등)로 비용과 수익을 포함하여 인공지능의 퍼포먼스를 결정 짓는데 중요한 역할을 하는 단위"라며 "AI 서비스 관점에서 토큰은 AI 모델이 생성하거나 소비하는 단위 작업량을 의미한다"고 설명했다. 

 

예를 들어, 고성능 데이터센터의 경우 대형 언어 모델 (LLM)이 문장 하나를 생성할 때 소비하는 토큰의 양도 많아진다. 또한 이러한 토큰 처리량이 많아질수록 저지연 (Low Latency), 메모리 대역폭, 저전력 등의 기술을 요하고 있다. 

 

대형 언어 모델의 경우 토큰당 처리 시간이 지연되면 응답시간이 길어져 사용자들의 대기 시간도 증가한다. 

 

또한 토큰당 연산량, 메모리, 전력 비용이 크다면 대규모 서비스 운영 시 전력/냉각/운영비 또한 증가하므로 데이터센터의 토큰 처리량을 높이면서 지연을 낮추고 전력을 줄이는 네오 클라우드 설계 수요가 증가하고 있다는 분석이다.

김 연구원은 "인공지능이 더 복잡한 추론(Reasoning AI)과 생각을 하게 될수록 토큰의 생성량이 많아질 것"이라고 내다봤다.

 

이에 따라 데이터센터도 토큰을 생성해내는 AI 팩토리로 변화할 것으로 엔비디아는 예상하고 있다는 해석이다.

[ⓒ 알파경제. 무단전재-재배포 금지]