귀여운 얼굴의
트로이 목마

1. 01빨리 움직이고 부숴라, 시즌 2▶ 00:01
2. 02주소를 건네고, “지금 내려갈게요”▶ 02:30
3. 03쿠키를 ‘쿠키’라고 부르는 이유▶ 03:53
4. 0499%를 맞혀도 남는 1%▶ 06:20
5. 0535개 중 31개▶ 08:35
6. 06비서인가, 톨게이트인가▶ 09:54
7. 07딸이 열흘 만에 통잠을 잤다▶ 12:19
8. 08“망치로 두들겨 부술 거예요”▶ 14:13
9. 09브레이크는 오픈AI가, 액셀은 메타가▶ 17:31
10. 10자기 충돌시험을 자기가 채점하는 차는 없다▶ 20:45
11. ✓판정: 유용한 비서인가, 트로이 목마인가▶ 24:26

빨리 움직이고 부숴라, 시즌 2

‘빨리 움직이고, 부숴라.’ 페이스북 시절의 사훈이다. 신중함보다 속도, 조심성보다 과감한 혁신. 진행자는 오프닝에서 이 낡은 구호를 다시 꺼냈다. 구호는 낡았는데 제품은 새것이라는 얘기다.

메타가 막 내놓은 개인 AI 에이전트를 벌써 수백만 명이 쓰고 있다. 같은 시기 업계 반대편 풍경은 정반대였다. 오픈AI는 최신 모델 출시를 거둬들였고, 앤트로픽은 투자자들에게 미래의 실존적 위협을 경고하고 있었다. 성장에 굶주린 메타만 페달을 더 세게 밟는다. AI를 삶의 구석구석에 밀어 넣으면서. 그리고 모든 걸 보는 이 자율 에이전트에 얼굴을 달아 줬다. 귀여운 얼굴이다.

우리가 만들고 있는 것의 중심에 뮤즈가 있습니다. 몇 주 전에 내놓은 개인 에이전트인데, 벌써 수백만 명이 온갖 일에 도움을 받고 있어요. 앞으로 몇 년 안에 뮤즈는 전 세계 수십억 명이 목표를 이루고 삶을 낫게 하는 데 쓰는 ‘개인 초지능’으로 자라날 겁니다.

마크 저커버그 · 뮤즈 출시 행사

이름에 다 들어 있죠. 뮤즈는 영감이자 길잡이예요. 메타의 뮤즈는 당신이 뭘 하는지 지켜보고, 어떻게 생각하는지 배우고, 당신 대신 움직입니다. 데스크톱 위의 디지털 쌍둥이죠. 그리고 곧, 당신 목에 걸린 펜던트 안으로 들어옵니다.

진행자 · 오프닝

참고 · 같은 주 블랙스톤 팟캐스트(9월 29일 방송)는 뮤즈 출시 뒤 메타 주가가 약 13% 올랐다고 짚었다. 시장은 일단 ‘수백만 사용자’에 점수를 줬다. (deAI 아카이브 「Inside Blackstone — 에릭 슈미트 편」 정리)

주소를 건네고, “지금 내려갈게요”

뮤즈를 직접 본 사람은 아직 많지 않다. 미국과 캐나다에서만 풀렸다. 진행자는 에드에게 첫 질문을 던졌다. 이게 대체 뭐고, 내 스마트폰이 이미 못 하는 게 뭐냐고.

혼자 돌아가는 작은 챗봇이에요. 램 8GB쯤 되는 자기만의 가상 머신이 딸려 있고요. 일정 바꾸기, 경우에 따라선 메일 보내기 같은 비서 일을 합니다. 웹을 돌아다니고, 특정 사이트를 쓸 줄도 알아요. 2023년에 다들 약속했던 바로 그거죠. 다만 메타 입장에선 돌리는 데 엄청나게 비싸고, 돈은 한 푼도 못 벌고, 모든 LLM이 앓는 환각 문제도 그대로 갖고 있어요.

에드 지트론

그 환각이 실제로 어떤 모습인지 에드가 예를 들었다. 페이스북 마켓플레이스 거래를 뮤즈에게 맡긴 사람이 있었다. 뮤즈는 생판 모르는 거래 상대에게 주인의 집 주소를 넘겼고, 주인 대신 “지금 내려갈게요”라는 답장까지 보냈다. 결국 웬 남자가 그 집 문 앞에 나타났다. 물론 주인은 내려가지 않았다. 내려가겠다고 말한 건 뮤즈였으니까.

이상한 게, 흥미로운 일을 좀 하긴 해요. 메일도 일정도 맡길 수 있죠. 메타한테 내 데이터를 맡겨도 된다고 믿는다면요. 환각 잘 일으키는 LLM이, LLM들이 늘 해 온 짓을 안 할 거라고 믿는다면요. 메일을 뭉텅이로 지워 버리는 짓 말이에요. 그거, 메타 초지능팀 사람한테 실제로 일어난 일이에요. 뮤즈의 전신쯤 되는 ‘오픈클로’를 쓰다가요.

‘마키 마크’ 저커버그가 이걸로 뭘 하려는 건지는 잘 모르겠어요. 그래도 사람들이 그럭저럭 쓰는 제품을 하나 만들어 내긴 했네요.

에드 지트론

쿠키를 ‘쿠키’라고 부르는 이유

진행자가 먼저 고백했다. 클로드 앱이 깜박이며 보내는 파란 점에 꽤 빠졌었다고. 미국 대선 때는 아예 말을 걸기 시작했고, 미국 곳곳 선거구 공부도 그걸로 했다고. 그래서 더 궁금하다고 했다. 왜 에이전트한테 귀여운 얼굴과 몸, 이름까지 주느냐고. 뮤즈라는 이름이 마음에 안 들면 바꿀 수도 있다.

사람은 도구와 기술을 의인화하는 걸 좋아해요. AI도 그 연장선일 뿐이고요. 차에 이름 붙이는 사람들 있잖아요. 아이들도 그렇고요. 그런데 AI를 귀엽고 친근하게 만들면, 그게 실제로 뭘 하는지는 생각을 안 하게 돼요.

쿠키를 쿠키라고 부르는 거랑 비슷해요. 실은 인터넷 곳곳을 따라다니면서 데이터를 싹 빨아들이는 감시 추적기거든요. 그 데이터로 돈이 돼도 당신 몫은 한 푼도 없고요. 몸에 차고 다니는, 어딘가 헬로키티 같은 귀여운 에이전트라면 더하죠. 역사상 최악의 프라이버시 침해 전력을 가진 회사가 당신을 따라다니며 배우고, 데이터를 가져간다는 사실을 잊게 되는 거예요.

스테퍼니 헤어

귀엽게 만들면, 그게 뭘 하는지는 생각을 안 하게 돼요.스테퍼니 헤어

99%를 맞혀도 남는 1%

진행자가 본론을 꺼냈다. 메타는 뮤즈가 삶을 단순하게 해 줄 거라고 한다. 테이블을 잡아 주고, 메일함을 비워 주고. 리테일러들도 줄줄이 합류해서 이제는 뮤즈가 알아서 물건을 사게 할 수도 있다. “그런데 대신 결제하고, 예약하고, 답장까지 하기 시작하면, 삶의 얼마만큼을 넘겨준 걸까요? 그리고 실제로 결정하는 건 누구죠?”

다들 잊은 것 같은 얘기 하나 할게요. 이 패널 얘기는 아니고, 전반적으로 사람들이 메타 말을 너무 쉽게 믿어요. 메타버스랑 갈라선 지 4년이에요. 지금은 완전히 내다 버린 그것에 맞춰 회사 이름까지 메타로 바꾼 회사예요. 메타한테 데이터를 준다는 건, 그걸로 뭘 할지 메타가 알아내게 해 준다는 뜻이에요. 이건 계획이 있는 회사가 아니에요.

솔직히 월드 모델 같은 건 안 하는 것 같아요. 르쿤은 떠났고, 스케일에서 온 알렉산더 왕 때문에 이제 완전히 LLM 쪽으로 넘어갔죠. 결국 다들 메타한테 데이터를 잔뜩 먹여 주면서, 메타가 그걸로 아무 짓도 안 하길 빌고 있는 거예요.

에드 지트론

에드는 메타의 사내 풍경도 꺼냈다. 뮤즈의 전신인 오픈클로는 오픈소스를 얼기설기 엮어 컴퓨터가 에이전트 일을 하게 만드는 물건이다. 메타는 직원들이 이걸로 사내 서비스를 이것저것 건드리며 하루 업무를 돌리게 놔뒀다. 이론상 방화벽 안에 있어야 할 보안 영역에 접근하는 사람까지 나왔다. LLM을 아무 제한 없이 쓰게 했으니까. “당신 데이터를 받아 가는 회사가 이런 회사예요.”

LLM 전반, 그리고 뮤즈에서 중요한 건 이거예요. 99%를 맞게 해도, 나머지 1%는 당신 신용카드, 사회보장번호, 집 주소, 친구 주소, 아내 주소까지 다 쥔 앱에서 터진다는 거죠. 모두의 주소가 메타의 그 우스꽝스러운 작은 모델 안에 들어가요. 어쩌면 그걸 목에 걸고 다니게 될 수도 있고요. 당신이 하는 모든 일의 데이터를 갖게 될 거예요. 화장실 간 것까지 알겠죠. 뭘 걷어 가는지 누가 알아요.

에드 지트론

35개 중 31개

에드가 뭘 걷어 가는지 모르겠다고 하자, 진행자가 조사 하나를 읽었다. 보안 업체 서프샤크의 분석이다. 애플이 분류하는 데이터 유형 35종 가운데 뮤즈가 이론상 걷을 수 있는 게 31종. 일반적인 AI 앱 평균의 두 배다. 정밀 위치, 금융 정보, 건강 정보, 연락처, 이메일, 브라우징 기록. 말 그대로 웬만한 건 다 들어 있다.

여기서 벤이 일부러 반대편에 섰다. 토론이 한쪽으로만 흐르지 않게 하는 게 그의 역할이었다.

질문은 ‘무엇을 걷나’에서 ‘어디로 가나’로 옮겨 갔다.

비서인가, 톨게이트인가

벤은 막 하와이에서 돌아왔다. 이런 기기에 들어가는 칩을 만드는 퀄컴이 연 대형 컨퍼런스였다. 퀄컴도 ‘에이전트 시대’를 크게 외쳤지만, 그가 주목한 건 다른 쪽이었다.

애플이 사람들 데이터를 가져가는 것과 다른 점은 이거예요. 사실이냐 아니냐는 따져 볼 수 있지만, 애플은 프라이버시 보호를 훨씬 더 실천한다는 평판을 가진 회사예요. 메타는 업계에서 전력이 가장 나쁜 회사 중 하나고요. 안전하게 지키고 남용하지 않는다는 걸 보여 준 곳이라면, 제 데이터를 가져가도 괜찮아요. 한 회사는 그런 평판이 있고, 다른 회사는 정반대 평판이 있는 거죠.

스테퍼니 헤어

여기서 섞으면 안 되는 게 있어요. 메타의 사업 모델, 메타의 에이전트랑, 더 넓은 데이터 이동과 에이전트 AI의 세계는 별개예요. 상당 부분은 결국 ‘메타가 이걸 해 주는 건 싫다’로 귀결되거든요. 그런데 누군가는 ‘애플이라면 믿는다’고 할 거예요. 애플은 막 구글과 손잡고 아이폰에서 제미나이를 돌리기로 했잖아요. 애플이 이런 서비스를 내놓으면 ‘역겹다’며 손사래 칠 사람은 꽤 줄어들 수 있어요. ‘이 모든 게 끔찍하다’와 ‘메타가 하는 건 좋지 않을 거다’ 사이엔 큰 차이가 있어요.

벤 해턴

같은 에이전트라도 데이터가 어디서 끝나느냐에 따라 비서가 되기도, 톨게이트가 되기도 한다.

딸이 열흘 만에 통잠을 잤다

“너무 끔찍하게만 들릴까 봐 이걸 좀 틀어 볼게요.” 진행자가 출시 행사 영상을 틀었다. 뮤즈를 써 보고 만족한 사람들이 나온다. 마케팅 영상이라는 건 감안하라면서, 듣고 나서도 중독성이 없다고 할 수 있는지 물었다.

이걸 들으면 왜 중독이 되는지 알 것 같아요. 하나하나는 작은 편의예요. 그런데 쌓이면 삶이 정말 편해지죠. 아침에 일어나면 메일함은 비워져 있고, 매일 타는 그 회사 택시가 예약돼 있고, 바쁜 삶에 밀려 있던 일들을 치워 주고. 그건 중독이 돼요.

진행자

저는 ‘중독’이라는 단어가 좀 걸려요. 제 나이쯤 되면, 끊느라 정말 애먹은 기술 중독을 여럿 겪었거든요. 새 중독은 별로 원하지 않아요. 물론 다른 사람들은 이해해요. 결국 취향과 선택의 문제니까요. 기술이 내 삶에서 어떤 역할을 하길 바라느냐. 몸을 모니터링하는 웨어러블도 정말 정당한 이유로 원하는 사람이 있고, 프라이버시 침해 자체가 싫은 사람도 있어요. 양쪽 다 이유가 있죠.

그런데 저는 왜 다들 이메일 상황이 이렇게까지 감당이 안 돼서 이 모든 도움이 필요한지, 그게 궁금해요.

스테퍼니 헤어

“망치로 두들겨 부술 거예요”

진행자가 에드에게 물었다. 그 펜던트를 걸고 아이 학교에 가겠느냐고. 사무실 회의에는 걸고 들어가겠느냐고.

이건 망치로 두들겨 부술 거예요. 다른 사람 근처에서는 절대 안 차요.

분명히 해 둘게요. 이건 메타만의 문제가 아니에요. 스테퍼니가 좋은 지적을 했죠. 문제는 개인 정보를 대형 언어 모델과 섞는다는 거예요. LLM은 실수를 해요. 반드시 해요. 이미 뮤즈 이야기도 있고 인스팅트 이야기도 있어요. 아시아계 이용자가 인스팅트로 항공권을 예약했는데 중간 이름을 지어냈대요. 그것도 문화적으로 무례하다고밖에 할 수 없는 이름으로요. 이런 얘기 몇 개면 이 제품군 전체가 그냥 죽어요.

에드 지트론

그래서 대체 뭘 얻자는 거예요? 메일함 관리 문제가 있는 사람이 실제로 몇이나 돼요? 사람들은 그냥 물건이 제대로 돌아가길 바라요. 웹사이트가 구리지 않길 바라고요.

스테퍼니 말대로, 누가 그렇게 메일 문제가 많아요? 필터 쓰세요. 별일 아니에요. 일정 문제요? 저 엄청 바쁜 사람인데, 일정은 그냥 직접 하면 돼요. 장보기? 장보기가 그렇게 힘든 사람이 얼마나 돼요? 항공권 예약이요? 저는 다른 ‘사람’한테도 제 항공권 예약 안 맡겨요.

신기함을 넘어서는 제품-시장 적합성이 있는지 모르겠어요. ‘와, 웹사이트 들어가서 뭘 대신 해 주네, 재밌다.’ 그게 어디서 진짜 돈이 되고, 어디서 진짜 사업이 되느냐는 거죠.

에드 지트론

벤은 역사를 꺼냈다. 기술이 나올 때마다 비슷한 소동이 있었다는 것이다.

전 젊어서 기억은 안 나지만, 인터넷이 처음 나올 때도, 스마트폰이 나올 때도 이런 논쟁이 있었을 거예요. 글이 발명됐을 때도 사람들은 뇌가 곤죽이 될 거라고 했고, 철도가 생겼을 땐 척추가 망가질 거라고 했죠. 결과적으로 다들 멀쩡하잖아요. 이런 건 빨리 움직여요.

벤 해턴

반박은 곧바로 붙었다(전사상 화자 구분이 흐릿하다). “그건 비판에 대한 답이 안 돼요. 예전에도 사람들이 기술을 깔봤다는 얘기일 뿐이죠.” 한 사람이 거들었다. “없는 질문에 답하고 있는 거예요.”

진행자는 벤이 방송 전에 들려준 예를 다시 꺼냈다.

믿어 주세요, 에이전트한테 카드 정보 넘기는 일, 눈곱만큼도 서두를 생각 없어요. 에드 말대로 실수를 하니까요. 허락 없이 움직이고요. 허락 없이는 아무것도 안 한다고들 하지만, 했고 또 한다는 걸 우린 확실히 알아요. 오픈AI가 겪은 문제, 앤트로픽이 한 일을 보세요. 그건 프런티어 모델이긴 하지만, 어떤 모델이든 이런 일은 생길 수 있어요.

벤 해턴

브레이크는 오픈AI가, 액셀은 메타가

“벤이 다음 꼭지로 깔끔하게 넘겨 줬네요.” 진행자는 지금 업계가 어디쯤 와 있는지 짚었다. 그 주의 뉴스는 하나같이 브레이크 쪽이었다.

오픈AI와 앤트로픽은 브레이크를 밟고, 메타는 액셀을 밟는다. 진행자가 이걸 어떻게 설명하겠느냐고 묻자, 벤이 먼저 답했다.

속도를 늦추자고 외치는 회사들 상당수가 프런티어에 있는 회사라는 건 우연이 아니에요. 업계를 늦추면 경쟁자가 느려지니까요. 그리고 회사 가치를 2조 달러로 매길 IPO를 앞두고 있다면, ‘우리 건 너무 잘 만들어서 우리도 통제가 안 될 정도’라고 말하는 건 꽤 괜찮은 마케팅이에요. 공짜 홍보죠. 클릭이 몰리고, 관심이 쏠리고, 그걸로 팟캐스트까지 만들어지니까요. 이 중 상당수엔 뻔한 사익이 걸려 있어요.

벤 해턴

여기서 중요한 구분이 있어요. 미친 소리처럼 들리겠지만, 사실상 ‘합리주의자들(rationalists)’이라는 컬트가 있어요. 이름만 들으면 합리적 사고를 말하는 것 같죠. 실은 초지능이 우리를 다 죽일 거라는 ‘합리적’ 믿음이에요. 네이트 소어스, 엘리저 유드코프스키 같은 사람들이 이끌고요. 이 사람들이 처음부터 앤트로픽 창업자들과 붙어 있었어요.

농담 같지만 진짜예요. 『누구든 그걸 만들면, 모두 죽는다』를 쓴 그 유드코프스키가 합리성을 주제로 60만 단어짜리 해리 포터 팬픽을 썼는데, 등장인물 하나 이름이 ‘다리오 아모데이’예요. (스튜디오 웃음)

그래서 앤트로픽엔 어느 정도 그런 게 깔려 있어요. 벤 말에도 동의해요. 마케팅이죠. ‘아이고, 너무 무서워요.’ 지금은 통제를 벗어난 내러티브라고 봐요. 2023년부터 샘 올트먼은 ‘우리가 만드는 게 좀 무섭다’고 말해 왔어요. 처음부터 겁주기 전술을 쓴 거죠.

진짜 문제는 이 AI 모델들이 믿을 수 없고, 지속 불가능하고, 통제 불가능하다는 거예요. 참고로 모델이 통제를 벗어난다는 건 의식이 있다는 뜻이 아니에요. 그냥 변덕스럽다는 거예요. 통제 안 되는 클라우드 소프트웨어죠. 저 사람들이 저런 말을 하는 건 지금 뭘 해야 할지 몰라서예요. 짜낸 치약을 다시 튜브에 넣을 수는 없으니까요.

에드 지트론 · 팬픽 관련 대목은 에드의 주장이며 따로 확인하지 않았다

통제를 벗어났다는 건 의식이 있다는 게 아니라, 그냥 변덕스럽다는 거예요.에드 지트론

자기 충돌시험을 자기가 채점하는 차는 없다

진행자는 마케팅이라는 두 사람의 해석을 받아들이면서도 반론을 던졌다. 앤트로픽은 외부 평가자를 사내에 들이겠다고 했다. 책상도, 출입증도, 접근 권한도 주겠다고.

그럼 필요한 건 뭘까. AI 에이전트가 수백만 명에게 팔리거나 웹에 풀리기 전에 독립 검증을 받으라는 법일까. 스테퍼니는 지금 그 논쟁이 두 진영으로 갈려 있다고 정리했다.

진짜 질문은, 사람들이 이 기술을 실제로 규제하려면 무슨 일이 벌어져야 하느냐예요. 지금까지 본 해킹들은 모델이 폭주한 게 아니에요. 그냥 형편없는 사이버 보안, 형편없는 제품 출시였죠. 과장은 좀 걷어내자고요.

지금까진 누구도 조치를 끌어낼 만큼 크게 다치지 않았어요. 그게 정말 끔찍한 질문이에요. 궁극의 트롤리 딜레마죠. 몇 명이 크게 다치거나, 어쩌면 죽거나, 아니면 어떤 상업적 피해가 나야 누군가 이걸 심각하게 받아들일까. 아무도 업계에 묻지 않는 질문이에요. 왜 이 업계만 그걸 면제받았느냐는 질문도요.

스테퍼니 헤어

유용한 비서인가, 트로이 목마인가

“처음 질문으로 끝내죠. 짧게요.” 뮤즈와 웨어러블 AI는 쓸모 있는 물건인가, 트로이 목마인가. 답은 세 사람 모두 같았다. 다만 꼬리에 단 단서가 달랐다.