6월의 젠슨 황은 달랐다
San Jose 이후 2개월. 비전이 제품으로 구체화됐다. Vera Rubin 전면 양산, 조립 시간 2시간→5분, RTX Spark·DSX 신규 공개.
Agent AI 시대 — Computing 개선, Token 급증, Distributed AI, On-Device. 모든 것이 결국 Memory 수요 폭발로 귀결된다. 대만 타이페이 현장에서 본 'AI is an Ecosystem Game'의 실체.
쏟아지는 Token은 메모리가 먹는다.
Agent AI 시대 = SRAM·HBM·DRAM·NAND 풀스택 전성시대.
3월 San Jose에서 '개념'이었던 것이 6월 타이페이에서 '현실'이 됐다. NVIDIA는 Vera Rubin을 전면 양산(HBM4 포함)에 넣었고, Agent AI를 PC(RTX Spark)로 끌어내렸다. Intel·Qualcomm은 출사표를 던졌고, GPU·Cloud 중심이 CPU·Edge·PC로 확산됐다. AI 서버의 모든 부품 — Memory, Foundry, 기판, MLCC, Cloud, Humanoid, 자율주행, 전력 — 을 갖춘 한국이 'GTC Korea' 후보로 떠올랐다. AI 정점까지는 아직 3부 능선도 채 넘지 않았다.
San Jose 이후 2개월. 비전이 제품으로 구체화됐다. Vera Rubin 전면 양산, 조립 시간 2시간→5분, RTX Spark·DSX 신규 공개.
Agent AI는 Generative AI 대비 100배(NVIDIA)~1,000배(Intel) 토큰을 소비. GitHub 커밋은 3년 만에 5억→15억건. Token이 새로운 화폐.
Intel·Qualcomm 출사표. 연산 비중이 GPU:CPU 7:1 → 1:1로. Core Ultra Series 3, Snapdragon X, RTX Spark가 'Agent PC'를 정의.
NAND가 Cold→Warm으로. 25-token 질문이 실제론 42,025 token·13.1GB KV cache. Context Storage로 TTFT 27배, RAG 65% 절감.
Marvell: 다음 병목은 연산이 아니라 연결성(connectivity). 구리는 200Gbps에서 2.5m가 한계. Rack 내부까지 광(CPO) 전환.
부지·전력·냉각 병목의 대안 — Floating Data center. 삼성중공업·Super Micro. 지상 대비 50% 빠른 공정, 수냉·LNG 자체 전력.
NVIDIA는 미국 San Jose에서만 열던 GTC를 2025년부터 대만에서도 개최한다. AI 서버 부품 생산이 가장 많은 국가이기 때문이다. San Jose는 개발자 중심, 대만은 하드웨어 중심. 그렇다면 한국은? 젠슨 황은 타이페이에서 GTC Korea 개최 의향을 밝혔고, 한국 방문에서 배경훈 과기부 부총리와 긍정적 의견을 교환했다.
대한민국은 Memory · Foundry · 패키지 기판 · MLCC 뿐 아니라 Cloud · Humanoid · 자율주행차 · 전력 공급 시스템까지 — Agent AI 시대에 NVIDIA와 동반 성장할 완벽한 생태계(Ecosystem)를 보유한다. NVIDIA는 LPU(Groq) 도입, HBM 협업, Marvell·Corning 투자, MediaTek 공동개발(RTX Spark)처럼 '독불장군'이 아닌 생태계 게임을 한다.
올해 젠슨 황은 Keynote를 Computex가 아닌 별도 행사장 NVIDIA GTC Taipei에서 진행했다. San Jose와 큰 틀은 같지만 개념적 비전 → 현실적 구체화로 표현된 것이 특징. 단 2개월 만에 신제품과 아이디어가 구체화된 속도가 AI 진화의 빠르기를 체감하게 한다.
| 구분 | 젠슨 황 Keynote — San Jose & Taipei 비교 |
|---|---|
| 신규 | RTX Spark (Agent PC용 Processor) · Isaac GR00T 휴머노이드 실물 공개 · GitHub 커밋·개발자 생산성 $9조 등 '유용한 AI' 정량화 · Cadence 칩설계 슈퍼에이전트 실시연 · Alpamayo 자율주행 실시간 시연 · Cosmos 3(픽셀·액션·사운드·언어 통합) |
| 공통 | Agent = model + harness + tool/kit + runtime · NVIDIA는 GPU사 → AI 인프라사로 변신 · "Compute = 수익" 토큰 경제 · Vera Rubin은 추론을 넘어 에이전트용 · CUDA-X = 에이전트 도구 · 수직통합·수평개방 |
| 구체화 | Vera Rubin "2026 출시 예정" → "전면 양산 진입". 공급망 Grace Blackwell의 2배, Rack 조립 2시간 → 5분 · Vera CPU "와트당 2배" → IPC 세계 1위·코어간 6TB/s·SQL 3배·NYSE 6배 실측 · DSX(NemoClaw 상용화) |
Vera(CPU) + Rubin(GPU). Grace Blackwell이 Inference용이었다면, Vera Rubin은 Agent 실행용 — 더 빠르고 많은 Token 처리. 구성 7칩: GPU Rubin, CPU Vera, NVLink 6 Switch, ConnectX-9 SuperNIC, BlueField-4 DPU, Spectrum-6 Ethernet Switch, 그리고 HBM4. 전면 양산 선언은 곧 HBM4 양산 진입을 의미한다. Vera CPU는 사람이 아닌 Agent를 위한 CPU — 나노초 세계에 사는 에이전트의 latency를 낮추기 위해 NVL72 안에 Vera Rack이 별도로 존재한다.
AI는 Generative → Reasoning → Agent로 진화했다. Agent는 질문에 답만 하는 게 아니라 요구사항을 직접 수행한다. 이로 인해 처리 Token은 폭증한다.
| Agent 구성요소 | 역할 | NVIDIA 대응 |
|---|---|---|
| LLM / Model 두뇌 | 이해·추론·계획·생성 | Nemotron, Llama, DeepSeek 등 |
| Harness 작업 지휘 | 목표 분해·도구 호출 관리 (미들웨어) | NeMo, NIM, Agent Toolkit |
| Tools / Skills 손과 발 | 검색·코드실행·DB·CAD·로봇제어 | Agent Skills, Omniverse, Cosmos |
| Runtime 실행환경·안전 | 권한·보안·메모리·로그·격리 | AI Enterprise, NIM runtime |
"유용한(useful) AI가 도착했다" — 젠슨 황의 Keynote 첫 문장. 실생활에 쓰이고 돈이 되는 AI 시대다. AI 시대 핵심 지표는 클릭·조회수·노출이 아니라 Token 사용량. 더 많은 Token 생산 → compute demand 확대 → AI Factory 구축 수요 견인.
"Compute is revenue, Compute is profit." 각 기업이 자사 특성에 맞는 Agent AI를 독자 개발(내부자료 유출·보안)하려면 AI Factory가 필요하고, 그 '완전한 실행 지침서(complete playbook)'가 DSX다.
서버에서만 움직이던 AI가 PC에서도 필요해졌다. AI 서버 근접 순서는 NVIDIA > Intel > Qualcomm, Device 근접 순서는 그 반대. 세 회사 모두 'Agent PC'를 들고 나왔다.
Blackwell RTX GPU + MediaTek N1X(20-core Grace CPU)를 NVLink 결합. 6,144 CUDA core, 1 PFLOPS, 128GB unified memory, TSMC 3nm·약 700억 트랜지스터. "PC판 iPhone 모먼트".
코드명 Panther Lake. CPU·GPU·NPU 통합. 400개 디자인 확보. Hybrid Agentic Inference(민감데이터=로컬, 대형모델=클라우드). 데이터센터엔 Xeon 6 Plus(288 E-core, 최대 15만 agent).
"Year of Agents". Device 중심·Edge 강조. 35억+ device reach, Cursor·Claude Desktop·Codex 네이티브 구동. PC = agent orchestration hub. 6G 통신을 차별화 포인트로.
Qualcomm 추정 — 일반 사용자 하루 5,000 토큰, 파워유저 2.5만, 대기업은 이미 하루 80억 토큰. 단순 채팅이 아니라 실제 업무 프로세스를 구동하는 agent 활동. 분산 AI로 코딩 워크로드 시 약 140만 토큰·비용 60% 절감.
Agent AI는 LLM inference + RAG 기반으로 계획·실행·관찰·개선을 반복한다. 이 과정에서 inference context·token·지식범위가 모두 확대되며 Cold data가 Warm data로 이동한다 (Solidigm·KIOXIA·WD).
KIOXIA의 독창적 솔루션 GPU Direct Storage — 서버를 GPU와 SSD만으로 구성, GPU가 SSD에 직접 접근(최대 200 MIOPS/GPU, 512B 청크)해 HBM의 확장성·비용 제약을 보완.
WD — "AI 인프라는 compute가 아니라 data system". 연산은 반복되지만 데이터는 누적된다. 720p 동영상 결과물은 3.97MB지만 서버에 저장되는 데이터는 506MB(97%). 저장장치는 더 이상 조연이 아니라 critical infrastructure.
저장구조는 2-tier(Flash=hot / HDD=warm·cool)에서 4-tier로: Model Weights·GPU Overflow / KV Cache / Vectors·RAG / Bulk Storage. Small transaction이 Flash를, Large transaction이 HDD를 대체 불가능하게 만들었다 — 선택이 아닌 역할 분담.
AI Data는 선형이 아니라 3차원으로 성장 (Solidigm) — ① Data Richness(Text→Multimodal→Sensor) ② Inference Complexity(Single-shot→Reasoning→Multi-step) ③ Operational Persistence(Ephemeral→Stored-by-default→Continuous logging). 2년 누적 효과 330배. 토큰은 2024년 9.7조 → 2026년 3,200조.
Marvell은 병목의 무게중심을 바꿨다. compute → memory bandwidth → connectivity. reasoning·MoE·Agent 확산으로 데이터 이동량이 급증, 수만~수백만 프로세서가 하나의 엔진처럼 작동하려면 고속·저지연 연결이 핵심이다.
"The speed of light is now a key bottleneck."
"The requirements have grown beyond what can fit in an existing data center campus."
"Transforming globally distributed infrastructure into one seamless supercomputer."
"…something fundamentally different had to happen."
거리마다 다른 솔루션 — DC 간(~1,000km+) Coherent DSP, DC 내부(~수백m) PAM4 DSP·TIA·이더넷 스위치, Rack 내부(2.5~7m) 현재 구리, Package 내부(<10mm) die-to-die·Advanced Packaging. CPO(Co-Packaged Optics)는 Rack 내부 광 전환의 핵심 — optical engine을 스위치/compute package 바로 옆에 배치해 구리 trace를 줄인다. NVIDIA Vera Rubin에 적용, Computex에서 MediaTek도 공개. 광 확산이 끝나면 CPU·GPU·Memory를 한 보드에 고정할 필요가 없어지고 compute·memory·network pool을 동적 조합하는 시대가 온다.
Super Micro 세션에 삼성중공업이 찬조 출연. DC는 절대적으로 부족한데 전력·부지·냉각 탓에 건축이 수요를 못 따라간다. 바지선·해상 플랫폼·부유식 구조물 위에 서버·전력·냉각을 올리는 대안이다.
부지 확보에 강점. 지상 대비 50% 빠른 공정 — 모듈화 블록을 해상 구조물에 적층. Keppel은 싱가포르 25MW, 2028년 가동 목표.
바다·강 물을 열교환에 활용(Nautilus, 캘리포니아 Stockton 수냉). LNG 발전·해상 풍력으로 독립 전력 확보 가능.
지상 대비 리스크 — 염분, 파도, 규제, 정비 난이도, 환경 문제가 발생할 여지.
Agent AI = 메모리 전성시대. 아직 3부 능선도 못 넘었다.
Agent AI는 서버를 넘어 PC로 확장되고, 급증하는 Token·Data를 담을 장치 용량까지 동반 성장시킨다. SRAM·HBM·DRAM·NAND가 풀스택으로 묶이고, KV cache·Context Storage·Bulk Storage로 SSD·HDD까지 수요가 번진다. 연결성 병목은 광(CPO)으로, 인프라 병목은 Floating DC로 풀린다. 이 모든 부품과 생태계를 갖춘 곳이 한국 — 젠슨 황이 'GTC Korea'를 말한 이유다. 주식시장은 AI 성장에 끊임없이 의구심을 던지지만, 타이페이 현장의 치열한 전략은 정반대를 가리켰다.