AI Insight · Sequoia "Training Data" · Engram

"우리 모델은 항상 학습 중이다"
— 기억과 지속학습의 최전선

모델은 이미 충분히 똑똑하다. 진짜 병목은 '지능'이 아니라 '새로운 맥락(context)'이다. 어떻게 하면 모델이 "프랑스 수도는 파리"를 아는 것만큼 우리 회사의 일하는 방식을 깊이 체화하게 만들까? 메모리 뉴랩 Engram 창업자 두 사람의 대화를, 비유와 예시로 풀었다.

출연 · Don Beerman (신경과학) · Jesse Lynn (인지·계산과학) 주제 · Memory · Continual Learning 파트너 · Notion · Microsoft · Harvey

⚡ 30초 요약

지금의 AI는 매번 똑같은 파일을 다시 읽는 신입사원이다. Engram은 이걸 "5년차 직원처럼 회사를 체화한 모델"로 바꾸려 한다. 방법은 맥락을 프롬프트(외부 메모)로 떠먹이는 게 아니라, 어댑터 파인튜닝으로 모델의 weight(뇌)에 직접 각인하는 것. 그 결과 10만 토큰 쓸 일을 100 토큰으로 — 최대 100배 절감. 핵심 질문은 단 하나: "무엇을 머릿속에 새기고, 무엇을 메모지에 적어둘 것인가?"

"Pre-training / Post-training" 구분을 버린다

모델은 한 번 훈련하고 끝나는 게 아니라, 일하면서 계속 배운다

병목은 '지능'이 아니라 '맥락'

오늘의 모델은 엄청나게 똑똑하다. 하지만 더 유용해지는 걸 가로막는 건 raw 지능이 아니라, 새롭게 변해가는 맥락을 이해하는 능력이다. 새로운 업무, 특정 회사의 일하는 방식 — 이걸 어떻게 pre/post-training이 그러듯 weight에 깊이 각인할 것인가. 메모리와 지속학습은 결국 같은 동전의 양면이다.

비유 · 포스트잇 vs 뇌

개인이 메모·포스트잇을 쓰는 건 분명 가치 있다. 버릴 필요 없다. 하지만 다음 날 다시 출근하면, 우리 뇌엔 "어제 일의 흔적과 새로운 직관"이 이미 남아 있다 — 어디를 봐야 할지 감이 잡힌다. 외부 메모(RAG)와 내재화된 직관(weight), 이 둘이 합쳐져야 한다.

왜 '외부 메모리'만으로는 안 되는가

컨텍스트 엔지니어링(거대 프롬프트)은 한계가 있다

10M+

하루 생성 토큰
곧 개인마다 하루 수천만 토큰. 저장·검색·재독 비용이 폭발한다.

혼란

모델의 혼란
맥락이 쌓일수록 모델이 무엇을 봐야 할지 더 헷갈린다. 검색해도 '어디를 볼지' 모른다.

연관 ✕

연상이 안 된다
매번 검색만 하면 "안 물어봤지만 관련된 것"을 떠올리는 연상이 불가능하다.

비유 · 신입 vs 5년차 직원

같은 회사 사람들이 매일 같은 문서에 같은 질문을 반복한다. 모델이 매번 그 파일을 처음부터 다시 읽는 건, 마치 직원에게 매일 "어제 뭐 하고 있었지?"를 검색창에 치게 하는 꼴이다. 진짜 직원은 그냥 안다. 검색의 진짜 한계는 "무엇을 저장하느냐"가 아니라 "무엇을 찾아야 하는지(어디를 볼지) 아는 직관"에 있고, 그 직관은 weight 안에서만 생긴다.

핵심 질문: 무엇을 내재화하고, 무엇을 외부화할까

정답은 아무도 모른다 — 생물학적 기억의 근본 질문이기도 하다

내재화 (Weight / 뇌)

자주 쓰고, 다른 지식과 엮여 사고의 다음 단계가 되는 것

집 비밀번호 — 앞으로 몇 년간 매일 쓴다. 머릿속에 새겨두는 게 맞다.

회사의 일하는 방식·우선순위 — 한 문서에 안 적혀 있고, 사람·팀 사이에 녹아 있다.

"누구에게 이 일을 넘길까" 같은 직관 — 연상과 판단

외부화 (RAG / 메모지)

가끔 쓰고, 자주 바뀌고, 정확히 보관하면 되는 것

1년 전 묵었던 호텔 방 번호 — 신경 조직에 새길 필요 없다. 적어두면 된다.

전체 코드베이스 — 손실 없이 통째로 저장하려면 컴퓨터가 낫다(AI도 필요 없다).

자주 바뀌는 사실 — weight에 각인하면 업데이트가 어렵다.

※ Engram은 휴리스틱(필터로 "이건 학습, 저건 버림")을 최소화하려 한다. 인간도 틱톡으로 온갖 쓰레기를 봐도 뇌가 알아서 걸러 배운다 — 모델도 그래야 한다.

트레이드오프: 앞에서 더 태우고, 매번 덜 보낸다

학습에 compute를 선투자 → 추론 때 토큰을 극적으로 절감

같은 질문에 드는 추론 토큰

사람·팀·우선순위처럼 문서에 안 적힌 지식을 물을 때 (로그 스케일)

100x

토큰 절감 — 50%가 아니다. 두 자릿수 배율. 10만 토큰을 소모할 일을 100 토큰으로 답한다.

왜 가능한가

"회사의 우선순위"는 한 문서에 정리돼 있지 않다. 모든 걸 규정집처럼 문서화하지 않는 한, 거대 시스템 프롬프트로도 못 담는다. 하지만 데이터 일부로 학습하면 모델이 암묵적으로 체화해, 프런티어 모델이 10만 토큰을 들여 할 일을 100 토큰 안에 답한다.

또한 항상 3~6개월의 틈이 존재한다 — 프런티어 모델이 아직 못 하는 bespoke 영역. 그 사이 가볍게 자율 학습할 수 있다면, 바로 그 기간에 가치를 만든다.

"사실 암기 vs 개념 학습"은 가짜 이분법

진짜 문제는 '분리'가 아니라 '무엇이 중요한지'를 가려내는 것

기억해야 조합할 수 있다

사고의 다음 단계를 밟으려면 기본 사실을 즉시 떠올려야 한다. 매번 찾아봐야 한다면 깊은 사고로 못 나아간다. 모델에서 사실을 다 걷어내 '순수 코어'만 남기면, 기본도 모르는 아주 부자연스러운 모델이 된다. 사실은 더 추상적인 개념으로 조립되는 벽돌이다.

지능 = 중요한 것을 압축하기

인간 기억은 손실적(lossy)이다. 그게 버그가 아니라 feature다 — 지능의 본질이 "중요한 것을 압축하고, 안 중요한 것과 분리하는 것"이기 때문. "아프리카 어느 다리의 길이" 같은 사실에 모델이 용량을 쓰게 할 필요는 없다. 사실 학습과 스킬 학습은 애초에 분리되지 않는다.

비유 · 도서관(DB) + 사서(알고리즘)가 뭉개지다

전통적 컴퓨터과학은 둘을 나눴다 — 데이터베이스(세상의 사실: 수도, 책)와 알고리즘(정보를 효율적으로 다루는 절차: 사서). 딥러닝의 마법(이자 미스터리)은 이 둘이 하나로 뭉개졌다는 것. 그래서 Anthropic 같은 곳의 똑똑한 사람들이 해석가능성(interpretability) 연구로 이걸 다시 떼어내려 한다.

Database

세상의 사실
(저장·조회)

Algorithm

정보 조작
(절차·추론)

→

딥러닝 = 둘이 뭉개진 하나

gradient descent가 사실과 절차를 한 weight 안에 함께 압축 — 그래서 강력하고, 그래서 분리가 어렵다

KV 캐시의 역설 — 압축의 기회

위키피디아 기사 1개가 GPU 메모리 80GB를 잡아먹는 괴물

위키 기사 1개의 KV 캐시80 GB

70B Llama 전체 weight~100 GB

원본 기사 텍스트수십 KB

고작 수십 KB 텍스트가 캐시에선 80GB 두뇌 상태로 부풀어 오른다. 반면 100GB weight는 (약간의 왜곡과 함께) 인터넷 거의 전부를 기억한다.

비유 · 풀어헤친 짐 vs 압축 파일

KV 캐시는 짐을 방 안에 다 펼쳐 놓은 상태 — 빠르게 쓰지만 공간을 엄청 차지한다. gradient descent는 같은 정보를 아주 적은 숫자로 압축해 넣는 마법사다. "딥러닝이 정보를 극도로 압축할 수 있다"는 존재 증명이 바로 weight다.

1000x

압축 잠재력 — 오프라인에서 compute를 들여 80GB 캐시를 1,000배 작게 만들 수 있다면? 로딩 속도·비용·표현 충실도에 엄청난 함의.

예시: 일주일 뒤 수학 올림피아드에서 우승하라면?

'훈련의 마법'이 색인·검색을 이긴다

✕ 검색·색인 방식

교과서 카탈로그를 만든다

모든 수학 교과서를 모아, 사람이 일일이 "이 챕터를 봐라, 이 그래프를 봐라" 주석을 단다. 모델은 시험 때 그걸 뒤진다. → 통합이 얕고 느리다.

✓ 훈련 방식

학습 데이터를 합성해 훈련한다

데이터를 합성하고 training job을 돌려, 5~6일 뒤 어디까지 왔는지 평가하고 다시 돌린다. 모델을 훈련해본 사람이라면 이게 우월한 길임을 안다 — 아이디어와 능력을 가로질러 통합되기 때문.

수학·코딩·사이버 같은 고위험 영역에선 이미 '훈련의 마법'이 당연하다. Engram의 베팅은 이 마법을 훨씬 더 많은 사람의 손에 쥐여주는 것.

왜 프런티어 랩이 다 차지하지 않나

"하나의 거대 모델" vs "모두가 자기 모델"

Frontier Lab · P0

하나의 더 크고 똑똑한 모델

목표는 AGI — 코딩·수학에서 압도적인 범용 모델로 경제를 자동화
레버: 더 많은 pre-training · 더 큰 모델 · 더 많은 데이터 · 더 많은 RL · 추론 시 compute
깨끗한 supervision, ground-truth 보상이 있는 영역에 강함
메모리·지속학습도 고민하지만 아직 'product 노력' 수준

Engram · 세계관

모두가 자기만의 모델

배우려는 것이 사적(private)이거나 서로 충돌한다 — post-training 데이터셋에 절대 안 나올 것들
"무엇이 좋은가"가 모호한(ambiguous) 영역 — 깔끔한 보상 신호가 없다
개인·팀마다 다른, 매우 구체적인 맥락
필요한 3가지: 새 연구 breakthrough · 모두를 위한 작은 모델 인프라 · research↔product 통합 루프

"문서를 매번 다시 읽는 것만으로는 당신을 진짜로 이해할 수 없다 — 특히 당신처럼 특별한 사람이라면. 우리는 훈련해야 한다."

— 인터뷰 중 (Engram 창업자)

보너스: 언어가 비전을 이긴 '크랙팟 이론'

왜 LLM(언어)이 컴퓨터 비전을 앞질렀을까 — 정보이론적 가설

비전 (광자)

bit-rate ▲▲▲ 매우 높음

생물학에서 눈→뇌의 광학 데이터 bit-rate는 압도적으로 높다. 전자에 닿기 전부터 망막에서 엄청난 전처리가 일어난다. 생물학에선 비전이 근본적 우위.

언어 (음파)

bit-rate ▲ 느림

소리는 빛보다 훨씬 느린 bit-rate. 음향→전기로 일종의 "업스케일링"이 필요하다. 생물학에선 언어가 불리한 출발선.

핵심 통찰

그런데 컴퓨터에선 모든 게 전자(electronic)다. 비전의 생물학적 이점은 "너프"되고, 언어는 "승격"된다 — 둘이 같은 운동장에 선다. 정보이론 관점에서 비등해진 셈이고, 그 위에서 LLM은 언어에 더 잘 맞는 똑똑한 아키텍처였다. (단, 지식 노동의 상당수는 우리가 진화로 익힌 게 아니라 새로 배운 것 — 그래서 텍스트로도 충분히 잘 된다.) 장기적으론 언어·비전이 하나의 추상 시스템으로 통합될 것.

한눈에 보는 용어집

클릭해서 펼치기 — 대화에 나온 핵심 개념

어댑터 파인튜닝 (Adapter Fine-tuning · LoRA)

LoRA·prefix·sparse 구조 등으로 거대 모델 전체가 아니라 작은 모듈만 추가 학습하는 방법. 회사·팀별 맥락을 가볍게 weight에 심을 때 쓴다. Engram은 SFT, RL, on-policy distillation 등 여러 도구를 조합한다.

RAG (Retrieval-Augmented Generation)

검색 증강 생성. 외부 DB에서 관련 문서를 찾아 프롬프트에 끼워 넣는 방식 = "외부 메모리". Engram은 "RAG 킬러"를 표방하지만, RAG를 없애는 게 아니라 "무엇을 내재화하고 무엇을 검색할지"의 경계를 다시 긋는다.

KV 캐시 (Key-Value Cache)

트랜스포머가 추론 속도를 위해 들고 있는 중간 상태. 시퀀스 길이에 대해 2차(quadratic)로 커진다. 위키 기사 1개가 80GB가 될 만큼 비효율적 — 그래서 압축이 큰 기회다.

컨텍스트 엔지니어링 (Context Engineering)

거대 프롬프트·멀티턴 대화·맥락 재구성으로 모델을 길들이는 현재의 주류 방식. 강력하지만 토큰 비용이 크고, 개인 혼자선 "다음 모델을 기다리는 것"보다 나아지기 어렵다.

지속학습 (Continual Learning)

모델이 일하면서 계속 새로 배우는 것. "가르칠수록 더 나아지는 인턴"이 그 상징. 기존 지식을 망가뜨리지 않으면서(catastrophic forgetting 회피) 학습하는 게 핵심 난제.

State Space Models (서브-quadratic 아키텍처)

트랜스포머 어텐션의 2차 비용을 줄이려는 계열. 일부 최신 중국 모델이 이 아이디어를 일부 층에 적용. 다만 메모리 효율을 얻으면 정확도를 희생하는 트레이드오프가 보통 따라온다("공짜 점심은 없다").

결론 — "시간을 쓸수록 더 좋아지는 모델"

오늘은 일을 잘하려고 컨텍스트를 아무리 정성껏 엔지니어링해도, 개인이 바늘을 움직일 여지는 좁다. 차라리 다음 모델을 기다리는 게 낫다. Engram이 그리는 미래는 정반대 — 당신이 쓴 시간이 곧 성능 향상으로 이어지는 세계다. 모두가 자기만의 모델을 갖고, 회사 IP는 회사에 남되 당신이 익힌 스킬은 (NDA처럼 정제되어) 다음 직장으로 가져가는 형태. 궁극적으로 모델은 파일시스템을 그대로 비추는 게 아니라, 그 파일시스템의 '뇌 상태(brain state)'를 표현하는 데이터 평면의 신경 인터페이스가 된다. 그리고 이 모든 것의 전제는 단 하나 — 데이터를 망가뜨리지 않으면서 compute를 학습에 태우는 것. 어렵지만, 바로 그래서 가능성이 있다.

deAI · 투자 & AI 인사이트

최전선 AI 리서치를 쉽게 풀어드립니다

@UUOLONN

본 자료는 Sequoia "Training Data" 팟캐스트(Engram 창업자 Don Beerman · Jesse Lynn 출연) 대화를 학습·이해 목적으로 정리·시각화한 인사이트 노트입니다. 음성 자동전사 기반이라 일부 표현·고유명사에 오차가 있을 수 있으며, 특정 종목·기업의 투자 권유가 아닙니다.