토큰 이코노미로 보는 AI 인프라 4대 병목

4

병목 단계
반도체·에너지·네트워크·데이터

3

토큰 생산 효율 지표
초·와트·100만토큰당

35%

데이터센터 전력 중
냉각이 차지하는 비중

+1000%

광케이블 전문사
최근 3년 성장률

THE FRAME · 출발점

"질 좋은 토큰"은 틀린 말이다 — 핵심은 효율화된 토큰

생산자 관점에서 토큰은 품질이 아니라 속도·전력·원가로 측정된다. 데이터센터를 제조 공장에 빗대면, 토큰은 컨베이어벨트 위를 흐르는 생산물이다. 공장이 잘 돌아가는지 보려면 ① 1초에 몇 개를 찍나 ② 1와트로 몇 개를 찍나 ③ 100만 개 찍는 데 원가가 얼마인가 — 이 세 자(尺)만 대보면 된다. 이 프레임이 GPU·전력·네트워크·데이터라는 4대 병목과 그대로 연결된다.

PART 1 · 공급자의 시선

토큰 생산 효율 — 3대 지표

토큰 1개라고 다 같은 토큰이 아니다(인퍼런스·리즈닝·에이전트 호출마다 가치가 다르다). 하지만 공장 효율은 아래 세 분모로 모두 환산된다.

1

초당 토큰

TOKENS / SECOND · 속도

1초에 몇 개를 찍는가. 컴퓨팅 파워가 클수록 생산량이 많다. 그러나 더 중요한 건 가동률 — GPU가 놀면(idle) 100 찍을 공장이 80만 찍는다.

고성능 GPU·HBM = 절대 생산능력
가동률↑: 프롬프트를 꽉 채우는 세일즈
히트율↑: 메모리 병목으로 GPU가 안 쉬게
GPU↔GPU 데이터 공유로 대기시간 제거

2

와트당 토큰

TOKENS / WATT · 에너지 효율

구축 후 운영비의 대부분은 전기다. 같은 GPU라도 1W로 100 찍는 곳과 50 찍는 곳이 갈린다. 차이를 만드는 건 냉각과 전송 손실.

전력의 30~35%가 냉각에 소모
공냉식 → 수냉식: 같은 칩, 더 높은 효율
구리선의 발열·손실 → 광케이블로 대체
열을 덜 내면 = 전기를 덜 먹는다

3

100만 토큰당 원가

COST / 1M TOKENS · 단가

분모가 토큰 자체로 바뀐다. 100만 개를 얼마에 찍나. 비싼 GPU 대신 저렴한 MPU·LPDDR로 원가를 내리는 게 추론·에이전트 시대의 핵심.

CapEx·OpEx + 감가상각(칩도 소모품)
가동률 100%로 단가 희석
비싼 GPU → 가성비 MPU 전환
고성능≠정답, 100만 토큰 단가가 정답

PART 2 · 메인 프레임

AI 인프라 4대 병목 — 풀리는 순서

병목이 옮겨갈 때마다 새 승자가 나온다. DRAM 회사가 HBM으로 떴듯, 통신회사가 AI 네트워크로 뜬다. "지금 병목은 어디고, 그걸 푸는 회사는 누구인가"가 투자의 질문이다.

1차 병목

반도체

정리 완료

첫 병목은 GPU, 다음은 HBM. 묶어서 "반도체". 이제 저가형 대안으로 MPU까지 합류했다.

GPUHBMMPU

2차 병목

에너지

진행 중

평균 전력 수요가 막대하다. 절감 노력이 이미 한창 — 냉각·전력설비가 곧 돈이다.

전력수냉전기설비

3차 병목

네트워크

본격 도래 임박

서버 안팎의 광케이블(실리콘 포토닉스)부터 온디바이스·기지국(AI-RAN)까지. 엔비디아가 미리 베팅한 곳.

실리콘포토닉스온디바이스AI-RAN

4차 병목

데이터

1~2년 후

공개 인터넷은 다 학습 완료. 다음은 측정·수집 안 된 현실계 데이터. 스마트글라스·핸드팜이 통로.

합성데이터스마트글라스피지컬AI

병목별 시장 성숙도(개념적). 오른쪽으로 갈수록 아직 열리지 않은 기회.

데이터센터 운영비 = 사실상 전기. 그중 약 1/3이 냉각으로 새어나간다 → 수냉이 곧 마진.

PART 3 · 머리에 박는 용어 사전

대담에 나온 핵심 용어 14

클릭하면 한 문단으로 풀어 설명한다. 한 번 읽으면 다음 뉴스가 다르게 들린다.

가동률 & 아이들(idle)Utilization

한 줄: GPU가 노는 시간 비율. 100% 일할 준비가 됐는데 프롬프트가 80%만 차면 20%는 놀고, 그만큼 초당 토큰이 깎인다. 가동률을 끌어올리는 게 곧 생산성이다.

히트율Hit Rate

한 줄: 메모리에 올려둔 데이터를 여러 GPU가 곧바로 꺼내 쓰는 비율. 낮으면 A-GPU 처리 끝날 때까지 B-GPU가 대기(컨베이어 적체). 복사·전송 시간을 줄여 GPU를 안 쉬게 하는 기술.

HBMHigh Bandwidth Memory

한 줄: GPU 옆에 쌓는 초고대역폭 메모리. 연산 데이터를 빠르게 먹여줘야 GPU가 안 굶는다. DRAM 회사를 AI 시대 주인공으로 끌어올린 1등 공신.

MPU / NPUAI 가속 칩

한 줄: 비싼 범용 GPU 대신 AI 연산에 특화한 가성비 칩. 100만 토큰 단가를 낮추는 핵심. 인텔·AMD·퀄컴, 국내 리벨리온·퓨리오사AI, 미국 세레브라스, 그리고 빅테크 자체 칩(구글 TPU 등).

LPDDR & 메모리 군저전력 메모리

한 줄: 저전력·가성비 메모리(모바일·온디바이스용). HBM·DRAM·SRAM·플래시와 함께 어떤 칩이 뜨든 결국 메모리는 필요하다. 그래서 메모리 3사가 "꽃놀이패".

공냉 vs 수냉Cooling

한 줄: 선풍기로 식히느냐(공냉), 칩 위 파이프에 냉각수를 흘리느냐(수냉). 수냉이 같은 전기로 더 빨리 식혀 와트당 토큰을 끌어올린다. 데이터센터 전력의 30~35%가 냉각용.

실리콘 포토닉스Silicon Photonics

한 줄: 구리선 대신 빛(광케이블)으로 데이터를 전송. 발열·손실이 적고 얇은 선에 막대한 데이터가 흐른다. 엔비디아가 관련사에 20억 달러 이상씩 베팅했고, 한 전문사는 3년간 +1000% 성장.

온디바이스 & 하이브리드 AIOn-device AI

한 줄: 폰·PC·로봇·차 안에서 AI가 직접 구동. 단, 디바이스만으론 부족해 클라우드 파운데이션 모델과 왔다 갔다 한다(하이브리드). 작은 MPU + RAM이 디바이스마다 들어간다.

오케스트레이션Orchestration

한 줄: 에이전트가 "이 연산을 디바이스 안에서 할까, 기지국에서 할까, 데이터센터에서 할까"를 비용·속도 기준으로 자동 배분하는 의사결정. 토큰을 가장 효율적으로 찍을 곳을 고른다.

엣지 / AI-RAN / 기지국Edge & Base Station

한 줄: 디바이스와 거대 데이터센터의 중간 지점. 공항·공장·건물 근처(엣지)나 기지국에 작은 데이터센터를 넣어 처리. 보안·비용·지연을 줄인다. 기지국 활용이 곧 AI-RAN(엔비디아도 투자).

HIDC / MDC모듈러 데이터센터

한 줄: 1~10GW 대형센터와 달리 5~100MW급의 경량·분산형 센터. 컨테이너 박스처럼 빨리 짓는 모듈러 데이터센터(MDC). 대만·국내 솔루션 기업과 전기설비(스위치·콘덴서) 수요가 따라붙는다.

CPU의 부활 (베라·루비)Vera / Rubin

한 줄: CPU 본래 역할은 중재자 — 일을 GPU들에 나눠준다. GPU가 폭증하자 이들을 효율적으로 멀티태스킹·분산할 지휘자가 다시 중요해졌다. 엔비디아 베라(Vera)=CPU, 루비(Rubin)=GPU.

핸드팜 / 피지컬 AIHand Farm

한 줄: 인도 노동자 머리에 카메라를 달아 손동작 데이터를 수집하는 "손가락 공장". 휴머노이드·로봇을 위한 현실계 데이터 캡처링. 미국이 직접 못 하는 수집을 대행 → 4차 병목의 단면.

젠슨 황의 5단 케이크5-Layer Stack

한 줄: AI 생태계는 ①물리적 데이터센터 ②클라우드 ③모델 ④애플리케이션/에이전트로 쌓인 5단 케이크. 맨 위만 보지 말고 아래까지 관통해 기업을 매칭하라는 프레임.

PART 4 · 기업 매핑

병목을 푸는 회사들 — 꽃놀이패의 구조

비싼 GPU가 떠도, 싼 칩이 떠도, 온디바이스가 떠도 — 무엇이 이겨도 메모리는 항상 필요하다. 그래서 메모리 3사가 "꽃놀이패"라 불린다.

연산 칩 (GPU·MPU)

엔비디아인텔AMD퀄컴세레브라스리벨리온퓨리오사AI

빅테크(메타·MS·아마존·구글)도 워크로드 비용 절감을 위해 자체 MPU를 직접 설계. 구글의 MPU가 바로 TPU.

메모리 (꽃놀이패)

삼성전자SK하이닉스마이크론

HBM·DRAM·SRAM·LPDDR·플래시 — 비싼 칩에도, 싼 칩에도, 디바이스 안에도 전부 들어간다. 전 세계에 몇 곳뿐이라 협상력이 절대적.

네트워크 (3차 병목)

실리콘 포토닉스광케이블 전문사AI-RAN해저 케이블

통신 전용이던 네트워크사가 AI 수요로 포트폴리오 확장. 엔비디아가 선제 투자한 영역 — 통신이 잘돼도, AI가 잘돼도 수혜.

에너지·엣지·설비

수냉 솔루션MDC(모듈러)전기설비스위치·콘덴서

경량·분산형 데이터센터를 빨리 짓는 솔루션사와, 끝없이 들어가는 전기설비가 새로운 기회. 대만·국내 기업 부상 중.

풀스택의 두 거인 — 엔비디아 vs 구글

엔비디아는 GPU만이 아니라 CPU(베라)·네트워크·AI-RAN·에이전트 솔루션(NeMo 등)까지 손을 뻗는 "안 한 데가 없는" 플레이어. 구글은 TPU(자체 MPU)·해저케이블·스마트글라스·유튜브/지메일/크롬의 데이터까지 가진 AI 풀스택 — 4대 병목을 동시에 푸는 유일한 구조라 시총 최상위에 올라섰다.

PART 5 · 실행 — 소비자의 시선

경영진 4관점 & 토큰 도입 로드맵

대부분의 기업은 'AI 사업'이 아니라 'AI로 본업을 더 잘하려는' 후자다. 그렇다면 토큰을 어떤 시각으로 소비할지 직책별로 갈린다.

CEO

토큰이 비용만 늘리나, 아니면 실제로 비즈니스 밸류를 바꿨나? 생산성 향상에서 그치지 말 것.

CFO

들쑥날쑥한 토큰 청구서를 어떻게 예측·통제할까. 재무적으로 설계 가능한 비용 구조를 짠다.

CTO

어떤 모델·어떤 데이터센터를 쓰느냐로 단가가 천차만별. 업무별 에이전트 배분 설계가 일.

CHO

일하는 방식이 바뀐다. 인건비와 토큰 가격이라는 두 함수를 구분해 미래 인력을 설계.

토큰 맥싱

우선 써봐야 안다. 먹어봐야 맛을 알듯, 적극 사용을 장려하고 종량제로 부서별 소비를 측정.

효율화

소비 대비 산출물의 퀄리티·밸류를 평가. 많이 쓴다고 회사 가치가 오르는지 나눠본다.

진단 & 로드맵

맵까지 그리는 전략화는 과잉. 다만 "누가 제일 많이 쓰고, 연간 예측 가능한가"는 점검할 것.

CONCLUSION

목차로 박는 결론

— 약 380자 한 호흡 요약 —

① 프레임 — 데이터센터는 토큰 공장, 토큰은 생산물이며 품질이 아니라 효율로 측정된다. ② 3대 생산지표 — 초당 토큰(속도·가동률·히트율), 와트당 토큰(냉각·구리선→광케이블), 100만 토큰당 원가(감가상각·MPU·LPDDR). ③ 4대 병목 — 1차 반도체(GPU·HBM·MPU)는 정리됐고, 2차 에너지(전력·수냉)는 진행 중, 3차 네트워크(실리콘포토닉스·온디바이스·AI-RAN)는 임박, 4차 데이터(합성데이터·스마트글라스·피지컬AI)는 1~2년 후. ④ 꽃놀이패 — 비싼 칩·싼 칩·온디바이스 무엇이 떠도 메모리 3사는 이긴다. 엔비디아·구글은 풀스택으로 네 병목을 동시에 푼다. ⑤ 실행 — 경영진은 토큰맥싱→효율화로, 투자자는 5단 케이크 아래까지 내려가 "지금 병목과 그걸 푸는 기업"을 매핑하라.

deAI · 데이

텔레그램 @UUOLONN

김지현 SK부사장 대담 정리 · 2026.06.07 · 투자 판단의 책임은 본인에게 있습니다