30초 요약

딱 6가지만 기억하면 된다

01

가치의 무게중심이 뒤집혔다

AI 이전엔 소프트웨어가 왕이었다. 지금은 칩·하드웨어(30조 달러+)가 소프트웨어(10조 달러)의 3배다. 4년 사이 벌어진 일.

02

데이터센터는 '완전 재건축' 중

메가와트→기가와트, 도시 안 소형 센터→텍사스 대평원 서버 농장. 예전 데이터센터와 지금 것은 외계인 수준으로 다르다.

03

수조 달러를 쓰는 이유가 "몇 센티미터"

데이터 이동 거리를 km→m→cm→mm로 줄이는 것. 거리가 짧아질수록 대역폭·전력·발열이 기하급수로 뛴다. 이게 AI의 물리학이다.

04

RAM 아포칼립스 — 다음은 메모리다

AI가 사람 뇌를 닮아갈수록 '연산'보다 '기억'이 커진다. 그런데 메모리 팹은 짓는 데 3~4년. 수요·공급 시차가 지금의 품귀를 만든다.

05

돈은 '토큰 플로우' 위에 있다

컴퓨트→모델→컨텍스트→에이전트. 이 흐름 어딘가에 끼어 있지 않으면 문제다. 그리고 마진은 위(SaaS)에서 아래(하드웨어)로 내려왔다.

06

장기 기술은 전부 2030년으로 수렴한다

양자컴퓨팅, 궤도 데이터센터, 소형원전(SMR), 800V 전력, AGI — 물어보면 다들 "2030년"이라고 답한다.

01 · 판이 뒤집혔다

"BC 시대 → AD 시대, 2023년에 모든 게 바뀌었다"

토니 김은 AI 이전/이후를 기원전(BCE)/기원후(AD)로 부른다. 그만큼 단절적이라는 뜻. 전 세계 시총 10억 달러 이상 테크 기업 약 1,500~2,000곳을 세 덩어리로 나눠 보면 구조가 한눈에 보인다.

토니 김의 어림값(approximation) 기준. AI 이전에는 이 순서가 정반대였다는 것이 그의 핵심 주장.

$30조+
칩 · 하드웨어 (Mag7 제외)
서버, 광케이블, 랙 설계, 전력 장비까지. "이제 랙 설계가 멋있는 시대"
×100
서버 한 대 가격 (1만 달러 → 100만 달러)
토니 김은 "컴퓨트 베이스 레이어가 1만 배 올랐다"고 표현. 일부는 수천만 달러대까지.
$1조 / 올해
AI 데이터센터 CAPEX · 향후 5년 누적 10조 달러
"이 돈을 다 쓰는 이유가 데이터를 몇 센티미터 옮기기 위해서다. 그게 AI다."

"클라우드는 사실 소프트웨어가 아니었다. CPU에 하드디스크를 붙여 되파는 사업이었다. 컴퓨트가 공짜에 가까웠으니 가치는 전부 위층(SaaS)으로 갔다. 2023년, 그 전제가 무너졌다."

— Tony Kim, BlackRock 글로벌 테크놀로지 총괄
02 · 비즈니스 모델의 이동

옛 클라우드 vs 새 AI 팩토리

같은 '데이터센터'라는 단어를 쓰지만 완전히 다른 사업이다. 마진이 어디에 쌓이는지가 바뀌었다.

2000 – 2020 · BCE

클라우드 & SaaS 시대

  • 규모: 메가와트급, 도시 안 소형 데이터센터
  • 컴퓨트: CPU + HDD, 싸고 흔한 부품
  • DRAM은 스마트폰용 범용재
  • 구조: 자산 경량 · 고마진
  • 가치: 얇은 컴퓨트 층 위의 두꺼운 앱 층
  • 결과: 20년간 SaaS 대세, 컴퓨트는 '뒷전'
2023 – · AD

AI 컴퓨트 팩토리 시대

  • 규모: 기가와트급, 텍사스 대형 서버 농장
  • 컴퓨트: GPU/XPU + 비싼 HBM 메모리 최대한 탑재
  • 파는 것: 서버가 아니라 토큰
  • 구조: 자산 중량 · 마진은 낮지만 금액이 거대
  • 가치: 두꺼운 컴퓨트 층이 위층 마진을 빨아들임
  • 결과: SaaS 아포칼립스 → RAM 아포칼립스
"모델은 보그(Borg) 같다 — 소프트웨어의 시총을 먹어치웠다" 6개월마다 새로운 '○○ 아포칼립스'가 온다
03 · 데이터센터 재설계

킬로미터에서 밀리미터로

AI 데이터센터의 진화는 한 문장으로 요약된다: 데이터가 움직이는 거리를 계속 줄이는 것. 거리가 한 자릿수 줄어들 때마다 필요한 대역폭·전력·발열이 계단식으로 뛴다. 그래서 물리 법칙이 설계를 지배한다.

km
건물과 건물 사이 — 과거의 데이터 전송
부하 ●○○○
m
데이터센터 건물 안, 랙과 랙 사이
부하 ●●○○
cm
랙 하나 안에서 — 현재의 격전지
부하 ●●●○
mm
칩 하나 안에서 — 다음 전장
부하 ●●●●

막대는 거리 축소에 따른 대역폭·전력·발열 부담의 증가 방향을 개념적으로 나타낸 것(실측치 아님).

⚡ 전력 · 그리드

비하인드-더-미터 자가발전, 신규 발전원, SMR(소형원자로). 800V 전력 아키텍처로의 전환이 판을 바꾼다. 전압을 단계별로 낮출 때마다 효율이 새기 때문. 궁극적으로는 솔리드스테이트 변압기.

🔬 칩 아키텍처

더 작은 면적에 더 많은 비트를 욱여넣기. 신소재, 기판(substrate), 어드밴스드 패키징. "재료공학 전공이 다시 멋있어졌다."

💡 구리에서 빛으로

전력밀도·발열 한계를 뚫기 위한 광(optics) 전환. 구리 배선 체제에서 빛 기반 체제로. 토니 김이 Lumenum과 별도 패널을 잡은 이유.

🧩 코디자인 (Co-design)

모델 스펙에 맞춰 실리콘을 설계하고, 실리콘이 다시 모델 설계를 규정한다. 주요 파운데이션 랩들이 걷는 새 길. Broadcom의 신규 XPU가 대표 사례.

04 · RAM 아포칼립스

"컴퓨트의 시대 다음은 메모리의 시대"

토니 김이 인터뷰에서 가장 힘줘 말한 대목. 논리는 놀랍도록 단순하다 — AI가 사람 뇌를 닮아가고 있기 때문.

STEP 1

초기 AI

병렬 연산은 엄청났지만 기억은 거의 없었다. 대화가 끝나면 리셋.

STEP 2

지금

모델이 당신의 취향·행동을 기억한다. 에이전트가 기업의 맥락을 저장한다.

STEP 3

사람의 뇌

인간 뇌는 연산보다 저장(기억)이 훨씬 크다. AI도 그 방향으로 간다.

STEP 4

결론

칩 설계는 결국 메모리를 어떻게 붙이고 조율할 것인가의 문제가 된다.

메모리 계층 — 전부 컴퓨트에 밀착시킨다

SRAM DRAM Stacked DRAM HBM High-bandwidth Flash

"칩 아키텍처를 보면 결국 전부 어떤 형태로든 메모리를 컴퓨트와 중재(arbitrate)하는 일이다."

⏳ 듀레이션 미스매치 — 품귀의 진짜 이유

메모리 팹 하나 짓는 데 3~4년. 그런데 부족은 지금 벌어지고 있다. 미래를 보고 지어야 하는데, 오늘의 수요는 어떻게 할 것인가? 게다가 지어놓고 나면 그때도 수요가 있을까? — 이 시차가 시장의 불안을 만든다.

메모리 주요 플레이어는 사실상 단 3곳. 공급이 제한적이니 수요 프리미엄이 붙는다. 투자자의 질문은 하나 — 그 프리미엄이 얼마나 오래 가나?

"오늘은 모두가 컴퓨트를 얘기한다. 하지만 메모리의 우위(primacy of memory)가 점점 더 중요해질 것이다."

— 인터뷰 중, 메모리 파트 마무리 발언
05 · 토큰 플로우

"토큰의 흐름을 따라가라"

미래의 기업은 무엇인가? 토니 김의 답: 토큰이 들어오고, 데이터 위에서, 컨텍스트를 입고, 에이전트가 뛰어다니는 곳. 팔란티어가 말하는 '온톨로지'가 바로 이 컨텍스트 층이다.

① 생산

컴퓨트 팩토리

GPU/XPU 데이터센터가 토큰을 찍어낸다. 이것이 새로운 공장.

② 판매

파운데이션 랩

모델 회사가 그 토큰을 지능으로 바꿔 판다. 오픈소스 vs 클로즈드소스.

③ 포장

데이터 + 온톨로지

자사 고유 데이터와 '회사의 비법'을 담은 컨텍스트 층. 여기서 차별화가 난다.

④ 실행

에이전트 & 앱

에이전트가 컨텍스트를 통해 데이터와 대화한다. 그게 곧 기업이다.

흐름 밖에 있으면 문제다

토큰을 만들거나, 되팔거나, 자기 컨텍스트로 재포장하거나 — 셋 중 하나는 해야 한다. "앱 회사들이 자기 자리를 못 찾고 헤매는 중."

다운스트림 수혜

에이전트가 데이터를 폭증시키니 데이터 플랫폼(Databricks·Snowflake)과 데이터베이스(MongoDB류)로 열기가 내려온다. 음성 AI 모델 회사들도 빠르게 성장 중.

PE 롤업이라는 새 무기

낡은 산업의 회사를 통째로 사서 스택을 재구성하고 "통합 솔루션"으로 되판다. "예전엔 100을 냈죠? 저는 20에 다 해드립니다." 500명이 1만 명 몫의 매출을 내는 구조.

06 · 반도체

"반도체는 범용재였던 적이 없다"

사람들이 20년간 틀리게 알고 있던 것 — 그리고 왜 지금 반도체가 세상에서 가장 마진 높은 산업인가.

1위
전 산업 중 최고 영업마진
소프트웨어, 제약, 산업재, 통신 — 그 어떤 섹터보다 반도체 기업의 마진이 높다.
수백 → 소수
20년간 진행된 업체 수 붕괴
카테고리마다 복점(duopoly) 구조가 남았다. 살아남은 곳은 압도적 가격 결정력을 가진 거인.
≈ 0
최근까지 반도체로 간 VC 자금
돈이 안 들어오니 신생 기업도 없었다. 그래서 경쟁이 줄고 기존 강자가 더 강해졌다.

"이건 '너드들의 역습'이 아니다. 잃어버렸다가 되찾은 절대반지다. 반지는 항상 거기 있었다. 이제 빛날 시간이 왔을 뿐."

— 실리콘밸리라는 이름이 왜 '실리콘'인지에 대해

⚠️ 진짜 병목은 돈이 아니라 사람

"세계 최대 메모리 회사 임원과 저녁을 먹었는데, 커스텀 메모리를 설계할 사람을 못 구한다고 하더라. 칩과 모델을 코디자인하듯 메모리도 코디자인하고 싶은데, 그럴 사람이 없다. 소프트웨어 개발자를 메모리 아키텍트로 재교육시켜야 할 판이다."

아날로그 회로 설계는 이제 대장장이 같은 잃어버린 기술이 됐다. 주변에 신형 메모리 설계를 전공하는 친구가 몇이나 되나?

07 · 로봇공학

두 개의 뇌, 그리고 중국발 IPO 파도

AI가 인지 노동을 먼저 먹고, 그다음 그 모델을 물리 세계에 이식한다. 그게 로봇이다.

🧠 로봇에는 뇌가 두 개 필요하다

  • 언어의 뇌 — LLM. 사람과 대화하고 지시를 통역하는 층.
  • 운동의 뇌 — 월드 모델. 세계를 지각하고 팔·다리·손을 제어하는 층. 사람으로 치면 운동 신경.

대형 랩들이 이미 '로봇 브레인'을 만들고 있다. 뇌를 만든 다음 몸에 심는다. 그리고 손(hand)이 가장 어렵다.

중국이 앞서 나오는 이유는 기술만이 아니다 — 사모 시장의 깊이가 얕아 공모 시장을 자금 조달 창구로 쓴다.

서양의 뇌 + 중국의 몸

모델 개발은 서방이 앞선다는 게 중론. 하지만 몸체·구동은 아시아 제조 복합체(중국·일본·한국)가 강하다. EV 플랫폼의 연장선에서 대량생산 단가를 낮춘다. "중국 몸에 서양 뇌를 심는 조합, 이미 벌어지고 있다."

참고 — 아틀라스는 한국 회사다

보스턴 다이내믹스의 유압식 휴머노이드 아틀라스는 현대차 소유. 피규어(Figure)는 물류 분류·차량 조립 같은 일상적 상업 용도에 초점.

💙 그의 진짜 관심사: 산업용이 아니라 '동반자'

아시아 출산율은 1.0 미만(현상 유지선은 2.1~2.2). 인구 절벽이 온다. 실제로 세계에서 가장 성과 좋은 기업군에 요양원 회사가 있다. 노인에게 필요한 건 완벽한 관절이 아니라 말동무다.

"터미네이터가 아니라 R2-D2와 C-3PO를 상상해보라. 절반 크기여도 좋다. 친근하고 위협적이지 않은데, 셰익스피어와 아인슈타인의 지능을 갖고 모든 언어를 한다. 어르신의 이야기에 공감하고, 그 인생을 기록해 준다. 완벽한 손가락 관절이 꼭 필요할까? 나는 이게 엄청나게 큰 시장이 될 거라고 본다."

— 토니 김이 꼽은 로봇 분야 최애 테마
08 · 2030년으로 수렴

장기 기술에 물어보면 다들 같은 해를 말한다

"장기 기술들을 들여다보면 흥미롭다. 모든 길이 2030년으로 모인다."

2030
양자컴퓨팅
논리적 오류정정 100만 큐비트 실용 규모. 토니 김은 2019년부터 7년째 투자 중, 앞으로 5년 더.
2030
궤도 데이터센터
지상 컴퓨트 부담을 우주로. 실현되면 지금 짓는 데이터센터 설계 자체가 다시 흔들린다.
2030
SMR · 소형원전
규제 승인까지 포함한 실전 배치 시점. 핵융합은 그보다 뒤.
2030
800V 전력 · 솔리드스테이트 변압기
데이터센터 전력 아키텍처의 세대교체.
~2030
고전 컴퓨팅 기반 AGI
"2028, 2029, 2030 — 물어보는 사람마다 이 범위."
09 · 자본 배분 프레임

"총알은 한정돼 있다" — 그는 어떻게 나눠 쏘는가

90%
'지금(NOW)' — 3년 내 재무 예측이 가능한 구간
누가 올라오고 누가 내려가고 누가 정체하는가. AI의 소용돌이는 바로 여기.
10%
'프론티어' — 비선형·비대칭 수익을 노리는 장기 베팅
양자·우주·차세대 아키텍처. 2019년 AI 반도체에 걸었던 것처럼, LLM이 올 줄 몰랐어도 방향엔 걸 수 있다.

"스케일링 법칙을 믿는다면 지능은 연 10배씩 는다. 3년이면 1,000배다. AI가 덜 유능해질 일은 없다. 더 유능해지면 더 많은 컴퓨트가 필요하다." (개념 도식)

① 3년 안에 이기는가

지금 이 국면에서 승자·패자·정체자를 가른다. 자본의 90%가 여기 간다.

② 3년 뒤에도 존재하는가

"미래가 있느냐 없느냐가 멀티플에 엄청난 영향을 준다. 싸 보여도 쇠퇴 중이면 그건 좋은 자본 배분이 아니다."

③ 5년 뒤에도 '쿨'한가

오늘 유행에만 올라타면 5년 뒤엔 '지난 뉴스'가 된다. 성장률은 둔화하고 시장이 매기는 멀티플은 내려가고 — 그때부터 곤경이다. 해자(moat)는 언제나 뚫린다. 결국 중요한 건 더 빨리 움직일 수 있느냐(공격)다.

10 · 향후 12개월

그가 기대하는 것 세 가지

01 · 공포를 뚫고 계속 간다

"6개월마다 무서운 얘기가 나온다 — ○○ 아포칼립스, 전쟁, 금리, 과잉 capex, 자금 조달 부족. 그래도 컴퓨트 수요와 데이터센터 재설계는 그걸 밀고 지나갈 것이다. 1년 뒤에도 우린 같은 얘길 하고 있을 것."

02 · 대형 AI 랩의 IPO

"12개월 안에 큰 랩들이 상장하는 걸 보고 싶다. 흥미로울 것이고, 시장의 수요는 엄청날 것이다."

03 · 궤도 데이터센터의 첫걸음

지상 컴퓨트 부담을 우주로 옮기는 진전. 이게 진짜 가능해지면 지금 짓는 데이터센터의 설계 전제부터 다시 짜야 한다.

부록 · 쉬운 말 사전

어려운 단어, 눌러서 확인

인터뷰에 나온 용어를 최대한 쉬운 말로 풀었다. 항목을 클릭하면 열린다.

토큰 (Token) & 토큰 플로우
토큰은 AI가 글을 처리하는 가장 작은 단위다. 대략 단어 조각 하나. AI 회사는 이 토큰 단위로 요금을 받는다. 그래서 데이터센터는 "토큰을 찍어내는 공장", 모델 회사는 "토큰 도매상", 앱 회사는 "토큰 소매상"이 된다. 이 유통망(토큰 플로우) 어딘가에 자리를 잡지 못한 회사는 위험하다는 것이 토니 김의 진단.
HBM · DRAM · SRAM — 뭐가 다른가
전부 '기억 장치'인데 속도·용량·가격이 다르다. SRAM은 칩 안에 박혀 있어 제일 빠르지만 비싸고 작다. DRAM은 흔히 말하는 램. 예전엔 스마트폰용 범용재였다. HBM은 DRAM을 여러 층으로 쌓아 GPU 옆에 붙인 것 — 비싸지만 대역폭이 압도적이라 AI 필수품이 됐다. 앞으로는 고대역폭 플래시까지 계층에 들어온다.
코디자인 (Co-design)
모델과 칩을 따로 만들지 않고 같이 설계하는 것. "이 모델은 이런 연산을 이만큼 한다" → 그 스펙에 딱 맞는 칩을 만든다. 반대로 칩의 특성이 모델 구조를 다시 규정한다. 옷과 몸을 동시에 맞추는 셈. 지금은 메모리까지 코디자인하려 하는데, 그걸 설계할 인력이 없다는 게 업계 고민.
온톨로지 (Ontology) / 컨텍스트 층
"우리 회사가 일하는 방식"을 기계가 알아들을 수 있게 정리해 둔 층. 팔란티어가 쓰는 용어. 데이터는 원재료, 온톨로지는 그 데이터가 우리 회사에서 무슨 의미인지를 담은 설명서. 직원들의 누적된 노하우를 여기에 담아야 에이전트가 제대로 일한다. 토니 김은 이걸 기업의 진짜 해자로 본다.
비하인드-더-미터 / 800V / 솔리드스테이트 변압기
비하인드-더-미터: 전력회사 계량기를 거치지 않고 발전소를 데이터센터 옆에 직접 붙이는 방식. 800V 아키텍처: 데이터센터 내부 전압을 높여 손실을 줄이는 것. 전압을 낮출 때마다 효율이 새기 때문에, 단계 자체를 줄이는 게 답. 솔리드스테이트 변압기: 기존 철심 변압기를 반도체 소자로 대체한 것. 작고 효율적이지만 아직 상용화 초기.
SaaS 아포칼립스 / RAM 아포칼립스
시장에서 유행처럼 도는 '○○의 종말' 서사를 부르는 말. SaaS 아포칼립스는 AI가 소프트웨어 회사들의 마진과 밸류에이션을 갉아먹는다는 공포(작년 말~올해 초). RAM 아포칼립스는 메모리 품귀·가격 폭등 국면. 토니 김은 이걸 무섭게만 볼 게 아니라 "메모리 수요 구조가 근본적으로 바뀐 신호"로 읽는다.
마무리

"죽은 사람들, 그리고 친절한 사람들"

"멘토가 있었다고는 말 못 하겠다. 다만 어느 시점에 나를 믿어준 사람들이 있었다. 그냥 '이 친구한테 뭔가 있다'며 열쇠를 통째로 넘겨준 사람들.

진짜 내 멘토는 다 죽은 사람들이다. 나는 역사를 파는 사람이라 — 카이사르, 알렉산더, 나폴레옹, 베토벤, 처칠. 자기 운명을 스스로 만든 사람들. 어릴 때 나는 사교적인 아이가 아니었고, 좀 배척당했다. 그래서 도서관에서 자랐고, 거기 있던 역사 속 인물들이 내 멘토가 됐다.

그리고 현실 세계로 나왔을 때, 몇몇 사람이 나에게 기회를 줬다. 그 친절을 나는 잊지 못한다.
결국 죽은 사람들과 친절한 사람들, 이렇게 말하면 되겠다."

— 인터뷰 마지막 질문 "당신을 만든 사람은 누구인가"에 대한 답