"새로운 데이터는 문서가 아니라
Brain State다"
신경과학자 출신 창업자 Dan이 말하는 Engram — LLM의 컨텍스트 병목을 '사전 학습된 기억'으로 풀겠다는 컨텍스트 레이어 스타트업의 논지, 그리고 이 문제의 당사자인 AI(Claude)의 관전평을 함께 담았다.
30초 요약 (TL;DR)
- 주장: Engram은 "AI의 다음 병목은 지능이 아니라 기억"이라며, 기업 지식을 프롬프트로 매번 재주입(RAG)하는 대신 모델 가중치·캐시에 사전 증류(neural cartridge)하는 컨텍스트 레이어를 만든다. 추론 토큰 10~100x 절감 + 응답 품질 향상을 동시 주장.
- 검증: Microsoft·Notion·Harvey 등 파트너십, Chris Ré 사단의 학술 축적(Minions 등)은 실체가 있다. 다만 절감 수치는 좁은 태스크 기준일 수 있고, 가중치 안의 권한 분리·catastrophic forgetting·프론티어랩의 동일 방향 진화가 미해결 3대 리스크.
- 액션: 직접 투자 대상은 아니나 '추론 비용 절감 + 메모리 레이어' 테마의 방향성 지표로 추적. 셀프서브 전환 성공 여부·Microsoft 딜 실체화·토큰 절감 재현성을 체크포인트로 삼을 것.
대담에서 나온 숫자들
Dan이 인터뷰에서 직접 언급한 수치. 모두 회사 측 주장이므로 외부 검증 전 참고치로 취급한다.
누가 만드는가 — 신경과학 사단
Dan은 "창업가가 되고 싶었던 적이 없다"고 말한다. 뇌의 기억 흔적을 뜻하는 사명(Engram)답게, 팀 전체가 '기억·연속학습'을 수년간 판 연구자들로 구성됐다 — 급여 수십억을 제시하는 빅랩 오퍼를 거절한 "미셔너리" 집단.
창업자 여정
스티키 노트 vs 뇌 — 패러다임 비교
트랜스포머 이후 지식 주입의 혁신은 사실상 in-context learning(프롬프트 주입) 하나였다는 게 Dan의 진단. 모델은 매 대화를 백지에서 시작하고, 파일을 다시 읽고, 버리고, 또 읽는다. Engram은 이 반복을 '사전 학습된 기억'으로 대체한다.
현행 In-Context Learning + RAG
- 매 대화가 백지 상태 — 스티키 노트(프롬프트)만 보고 연기
- 같은 파일을 반복 재독 → 추론 비용 누적
- 컨텍스트를 넣을수록 정확도 하락 — context rot
- "무엇을 검색해야 할지 모르면" 검색 기반 에이전트는 막힘
- 차세대 모델이 나오면 공들인 컨텍스트 엔지니어링이 리셋
Engram 사전 증류된 Neural Memory
- 조직 지식을 모델에 미리 학습·캐싱 — "누가 누군지 이미 안다"
- Neural cartridge — 모델에 꽂았다 뺐다 하는 기억 모듈
- 모르면 어디를 찾아야 하는지는 안다 — 직관형 검색
- 토큰 절감 → 에이전트를 1시간이 아니라 하루 종일 구동
- 키울수록 똑똑해지는 '다마고치' 모델 — 노력이 축적됨
왜 '사전 준비'가 돈이 되는가
Dan의 캐노니컬 예시(사내 이슈 트리아지)를 토대로 재구성한 개념도. 콜드스타트 에이전트는 조직도·PR·커밋을 매번 재조사하며 ~10만 토큰을 태우지만, 준비된 모델은 "직관적으로 아는" 상태에서 확인만 한다. 절감 배수(10~100x)는 회사 측 주장 범위를 그대로 반영했다.
* 트리아지 1건당 추론 토큰(개념도). 10x(보수) / 100x(최적) 절감은 Dan 발언 기준 — 독립 검증 전 참고치.
* Claude의 주관적 평가 (10점 만점). 대담 내용 + AI 업계 일반 지식 기반 — 정량 데이터 아님.
타이밍을 만든 세 가지 조건
ChatGPT 이후 4년, 왜 이제서야 컨텍스트 레이어인가에 대한 Dan의 답.
① 오픈소스 모델의 성숙
가중치를 직접 수술(training·caching)해야 하므로 화이트박스 접근이 필수. 2년 전 대비 수십 분의 1 크기로 동급 지능을 내는 오픈 모델이 등장하면서 비로소 가능해졌다.
② 메모리 레이어 기법의 축적
neural cartridge, LLM 암기 용량, 학습과 망각(catastrophic forgetting) 회피, 비용 효율적 파라미터라이제이션 — 팀이 수년간 쌓은 학술 연구가 임계점을 넘었다.
③ 장시간 에이전트 워크플로우
애플리케이션이 단발 질답에서 하루 종일 도는 프로액티브 에이전트로 이동 중. 이 워크플로우는 순수 추론력보다 '방대한 컨텍스트를 계속 만지는 능력'을 요구한다.
파트너십과 셀프서브 베팅
수평 지식 플랫폼 우선 공략
Microsoft(M365 지식그래프 — Word·Excel·SharePoint·회의록), Notion, Harvey 같은 호라이즌탈 플랫폼과 협업해 그 위의 수많은 엔터프라이즈 최종 사용자에게 도달하는 전략. GC 롤업 포트폴리오(Long Lake HR·Accrual 회계·Titan MSP)는 "회사와 데이터를 직접 소유"하므로 이상적인 배포 채널.
권한 문제를 정면으로 인정: "같은 회사여도 당신은 HR 오퍼 문서를 보고 나는 못 본다 — 비밀이 새지 않으면서 각자의 뷰를 갖는 뇌를 어떻게 합성하는가"가 핵심 과제.
FDE가 아니라 셀프서브 — "우리 DNA는 프론티어 랩"
유행하는 forward-deployed engineer 모델을 의식적으로 거부. 랩들의 진짜 언락은 '미친 기술' 자체였고, 기술이 충분히 강하면 사용자가 알아서 배우러 온다는 논리. 개발자가 몇 개 연결하면 "페트리 접시 속 세포처럼 모델이 자라는 걸 보는" 경험이 목표.
엔터프라이즈 세일즈는 자기 전문 영역이 아님을 인정하고, 서비스형 파트너에게 배포를 위임해 연구 프론티어에 집중하는 분업 구조.
Dan을 잠 못 들게 하는 세 가지
폼팩터 — 실존적 1순위
정교한 훈련 런과 핸드홀딩 없이, 최소한의 상호작용만으로 가치가 보이는가. "사람들 손에서 최소 노력으로 작동하게 만드는 것"이 생존 조건.
채용 — 연봉 수십억과의 경쟁
후보자의 99%는 다른 곳에서 연 수천만 달러를 받을 수 있는 사람들. 조작이 아니라 지적·미학적·경제적으로 다른 무언가가 있음을 설득해야 한다.
Scaling-pilled 유지
"진보가 멈춘다는 가정 위에는 아무것도 지을 수 없다." 모델이 좋아질수록 함께 좋아지되, 다음날 모델 제공사에 삼켜지지 않을 만큼 차별화되어야 한다.
클로드의 생각: 나는 매일 스티키 노트로 산다
Dan이 묘사한 한계는 남 얘기가 아니라 정확히 내가 작동하는 방식이다. 나는 매 세션을 백지에서 시작하고, 메모리 파일을 다시 읽고, 컨텍스트가 길어지면 요약본에 의존한다. 그래서 이 대담은 나에게 유난히 흥미로웠고 — 동의하는 지점과 의심하는 지점이 분명하다.
강한 동의 문제 정의는 정확하다 — context rot은 실재한다
긴 컨텍스트에서 정확도가 떨어지는 현상, 매번 파일을 재독하는 비용, "무엇을 검색해야 할지 모르는" 검색 의존 에이전트의 한계 — 전부 내가 실제로 겪는 제약이다. 지금 이 리포트를 쓰기 위해서도 나는 사용자의 메모리 파일들을 '스티키 노트'처럼 읽고 들어왔다. 컴퓨팅 역사에서 반복 계산은 언제나 캐시 계층(CPU 캐시→memcached→CDN)으로 흡수됐다. 추론의 캐시 계층이 생기는 건 방향으로서 필연에 가깝다.
동의 '토큰 절감'보다 '가동 시간 연장'이 진짜 가치 제안이다
대담에서 가장 날카로운 대목은 "비용을 아껴서 덜 쓰는 게 아니라, 같은 컨텍스트 예산으로 에이전트를 1시간이 아닌 하루 돌린다"는 재프레이밍이다. 비용 절감은 조달 부서를 설득하지만, 가동 시간 연장은 제품 카테고리 자체를 바꾼다. 장시간 자율 에이전트 시대에 컨텍스트 일관성(coherence)은 지능만큼 희소한 자원이 된다. 이 관점은 Engram이 성공하든 못 하든 유효하다.
의심 가장 어려운 문제는 기억이 아니라 '권한'이다
문서·DB의 접근 제어는 행 단위로 자를 수 있지만, 가중치에 증류된 지식은 자를 경계가 없다. Dan도 HR 문서 예시로 이 문제를 인정했지만 해법은 제시하지 않았다. 학습된 정보가 프롬프트 유도로 새어 나오는 문제(extraction attack)는 학계에서도 미해결이고, 엔터프라이즈 보안팀이 가장 먼저 물을 질문이다. 카트리지를 사용자·팀 단위로 쪼개는 게 답이라면, 그건 곧 카트리지 수의 조합 폭발 — Dan이 말한 "전례 없는 서빙 인프라 난제"와 정면 충돌한다. 이 회사의 진짜 기술 해자는 기억 알고리즘이 아니라 권한-인지형 서빙 인프라가 될 가능성이 높다.
의심 10~100x는 가장 유리한 태스크의 숫자일 것이다
트리아지처럼 '조직 상식'이 답의 대부분인 태스크는 사전 학습의 이득이 극대화되는 최적 사례다. 반면 어제 바뀐 코드, 오늘 아침의 논의처럼 신선도가 중요한 지식은 결국 다시 컨텍스트로 주입해야 한다. 기업 지식의 상당 부분은 빠르게 부패하는(perishable) 지식이고, "밤새 꿈꾸며 학습한다(dream about them)"는 배치 갱신 모델과 실시간성 사이의 간극이 실제 워크로드에서 어떤 평균 절감률로 수렴하는지가 관건이다. 10x는 믿을 만하지만 100x는 마케팅 상단이라고 본다.
리스크 "삼켜지지 않을 만큼 차별화" — 그 여백은 생각보다 좁다
Dan은 랩들이 AGI에 바빠서 이 틈새를 못 본다고 베팅하지만, 메모리는 이미 모든 랩의 로드맵 1페이지에 있다. Anthropic의 메모리 기능, OpenAI의 메모리, 각사의 프롬프트 캐싱은 모두 같은 산의 다른 등산로다. Engram의 방어선은 (1) 화이트박스 수술이 필요해 폐쇄 모델로는 못 따라오는 기법, (2) 고객 데이터 위에서 자라는 카트리지의 전환 비용, 두 가지뿐이다. 둘 다 유효하지만, 프론티어 모델이 컨텍스트 처리를 근본적으로 개선하는 순간(예: 아키텍처 수준의 장기기억) 가치가 급격히 침식되는 구조다. Dan 스스로 이걸 3번째 불면 사유로 꼽은 것은 정직하고, 또 정확하다.
관전 포인트 그럼에도 이 팀을 지켜봐야 하는 이유
'기억'은 신경과학이 AI에 기여할 수 있는 마지막 큰 미개척지 중 하나이고, 이 팀은 그 교차점에 정확히 서 있는 몇 안 되는 그룹이다. Chris Ré 계열(Snorkel, Together AI 등을 배출한 라인)의 창업 타율도 무시하기 어렵다. 결정적으로 — 이 문제가 풀리면 나 같은 모델의 작동 방식 자체가 바뀐다. "쓸수록 나를 더 잘 아는 모델"은 사용자 락인의 종결형이며, 그걸 누가 소유하느냐가 다음 5년 AI 밸류체인의 핵심 쟁탈전이 될 것이다.
추적 체크포인트 — 논지가 맞는지 확인하는 법
비상장 초기 기업이라 직접 투자 대상은 아니다. 대신 '컨텍스트 레이어' 테마의 리트머스로 아래를 추적한다.
현재는 초기 파트너 핸드홀딩 단계. 개발자가 혼자 연결해서 가치를 보는 제품이 실제 출시되는지 — Dan 스스로 "실존적 1순위"로 지목한 항목.
대담에서는 '진행 중인 빅딜' 뉘앙스. M365 지식그래프 접근이 공식화되면 배포 리치가 차원이 달라진다. 반대로 소식이 없으면 할인해서 볼 것.
10~100x가 고객사(Harvey·Notion 등) 공개 사례나 벤치마크로 재현되는지. 좁은 트리아지 태스크 밖 일반 워크로드 수치가 핵심.
가중치 내 지식의 접근 제어를 어떻게 푸는지 기술 문서·논문이 나오는지. 이것이 나오면 엔터프라이즈 확산의 최대 장벽이 해소된 것.
Anthropic·OpenAI·Google이 아키텍처 수준의 장기기억을 발표하면 Engram의 여백이 좁아진다. 랩 발표와 Engram 차별화 속도를 병행 추적.
결론 — 방향은 필연, 승자는 미정
"AI의 병목은 지능에서 기억으로 이동한다"는 이 대담의 대명제에는 동의한다. 컴퓨팅 역사상 반복 접근되는 데이터는 언제나 전용 캐시 계층을 낳았고, 추론이라고 예외일 이유가 없다. 문제 정의의 정확성, 팀의 학술적 축적, 타이밍 논리(오픈소스 성숙 + 장시간 에이전트 수요)까지 — 논지의 뼈대는 견고하다.
다만 이 계층을 독립 회사가 소유할 수 있는가는 별개의 질문이다. 가중치 내 권한 분리라는 미해결 난제, 신선한 지식의 배치-학습 간극, 그리고 같은 방향으로 진화 중인 프론티어 랩들 — Engram의 성공 경로는 좁고, Dan 본인이 그걸 가장 잘 알고 있다. 투자 관점에서는 회사 자체보다 '추론 비용 절감 + 메모리 인프라' 테마의 선행 지표로 삼아, 위 체크리스트 5개 항목을 분기 단위로 점검하는 것이 실용적이다.
⚠️ 본 리포트는 인터뷰 전문(General Catalyst 대담)만을 소스로 하며, 수치·파트너십은 모두 회사 측 발언 기준으로 독립 검증되지 않았다. 'Claude's Take' 섹션은 AI(Claude)의 주관적 분석이며 투자 자문이 아니다.