편해지는 AI, 커지는 위험—투자자는 무엇을 봐야 할까?
클로드 연구자의 사퇴와 게이츠의 경고에서 출발해,
실제 사건·안전 실험·미래 시나리오를 구분합니다.
자료 확인 기준 · 2026년 9월 28일
어제는 AI가 일을 빨리 끝내 줬습니다.
오늘은 AI가 인류를 위협할 수 있다는 뉴스를 봤습니다.
두 이야기는 함께 참일 수 있을까요?
편리함을 만드는 능력이 위험에도 쓰일 수 있습니다. 그러나 경고의 크기와 증거의 강도는 다릅니다. 이 글은 AI가 실제로 무엇을 할 수 있는지와, 그 행동을 누가 통제하는지를 함께 살핍니다.
얼마나 똑똑한가, 그리고
얼마나 책임 있게 쓸 수 있는가.
노란색 용어를 누르면 아래 쉬운 용어 사전으로 이동합니다.
☕ AI가 내 일을 대신하는 순간, 무엇을 넘겨주는 걸까요?
아침 출근길, AI에게 회의 자료를 요약해 달라고 합니다. 점심에는 여행 일정을 짜고, 저녁에는 가족 선물의 가격을 비교합니다. 여기까지는 마음에 들지 않는 답을 무시하면 됩니다. 그런데 다음 단계에서는 AI가 예약하고, 결제하고, 회사 파일을 바꾸기 시작합니다. 편리함이 커지는 지점에서 질문도 바뀝니다. “답이 맞나요?”에서 “어디까지 맡겨도 되나요?”로.
목표를 받아 여러 도구로 일을 이어가는 AI를 AI 에이전트라고 부릅니다. 직원에게 보고서 초안만 부탁하는 일과 회사 법인카드·고객 명단·송금 권한을 한꺼번에 건네는 일은 다릅니다. 같은 직원이어도 맡긴 권한에 따라 잘못됐을 때의 피해가 달라집니다. AI 역시 모델의 성능만으로 안전을 판단하기 어렵습니다.
상황을 하나 가정해 보죠. “가장 싼 항공권을 예약해 줘”라는 부탁에 AI가 환불 불가 항공권을 골랐습니다. 가격만 보면 성공했지만 가족 일정이 바뀌면 손해입니다. 여기서 필요한 것은 더 빠른 검색뿐 아니라, 환불 조건을 물어보고 결제 전에 확인받는 절차입니다. 우리가 원하는 것은 목표의 숫자만 맞추는 능력이 아니라, 생략된 조건을 확인하는 능력입니다.
영화 월-E에서 사람들이 자동화된 생활에 익숙해진 모습을 떠올려 보세요. 이 비유가 던지는 질문은 로봇의 반란보다, 편리함에 익숙해진 사람이 판단과 통제 능력을 얼마나 남겨두느냐에 가깝습니다. 다만 매번 확인하기 귀찮다는 이유로 권한을 넓혀 주는 우리의 습관을 돌아보게 합니다.
🚪 클로드 연구자는 왜 회사를 떠났을까요?
2026년 9월 사퇴를 알린 인물은 제이컵 콕슨(Jacob Coxon)입니다. Claude를 만드는 Anthropic의 연구자였으며, 공개 발언에서 OpenAI와 Anthropic에서 사전학습 연구를 해 왔다고 설명했습니다. ‘Claude를 혼자 만든 개발자’가 떠난 것으로 이해하면 사실과 달라집니다.
콕슨의 문제 제기는 개발 경쟁의 방향입니다. 그는 두 회사가 안전에 충분히 책임 있게 행동하지 않은 채 스스로 개선하는 초지능을 향해 경쟁한다고 비판했습니다. Anthropic 내부에서 위험을 안다고 해도, 먼저 도달해야 한다는 경쟁 논리에서 벗어나지 못한다는 취지였습니다. 이는 그의 공개 주장입니다. 이 사퇴 자체가 초지능의 등장 시점이나 인류 멸망 확률을 입증하지는 않습니다.
출처 · CoinDesk · Jacob Coxon 사퇴 발언 보도 ↗
그의 주장을 이해하는 데 자동차 경주를 떠올리면 쉽습니다. 앞차가 속도를 높이면 뒷차도 브레이크 시험을 줄이고 싶어집니다. 개별 팀은 “우리가 먼저 도착해야 안전하게 운영할 수 있다”고 생각할 수 있습니다. 그러나 모두 같은 이유로 속도를 높이면 전체 경주의 안전은 나빠질 수 있습니다. 선한 의도와 안전한 경쟁 구조는 같은 것이 아닙니다.
투자자에게는: 사퇴 소식 자체보다 안전 평가 때문에 출시가 늦어지는지, 통제 비용이 늘어나는지, 외부 검증이 뒤따르는지를 확인할 이유가 됩니다.
🧭 빌 게이츠는 AI를 기대하면서 왜 경고할까요?
빌 게이츠
Microsoft 공동창업자
AI의 편익과 안전 제도를 함께 논의합니다.
사진: 미국 보건복지부 / Christopher Smith · Public domain
사진 원본·촬영 정보 ↗
게이츠는 2026년 8월 26일 자신의 글에서 AI의 편익을 키우려면 위험을 다룰 제도도 필요하다고 주장했습니다. 의료·교육 등의 가능성을 보면서도, 일자리 변화와 안보 위험처럼 부처 하나나 기업 하나가 감당하기 어려운 문제를 함께 제기했습니다. 국가 안의 조정과 국경을 넘는 협력이 필요하다는 관점입니다.
출처 · Bill Gates · The turbulent AI era is here ↗
9월 25일 Axios가 전한 NBC 인터뷰 발췌에서도 게이츠는 AI 악용으로 막대한 인명 피해가 가능하다고 경고했습니다. 이는 사망자 예측치나 확률 계산이 아닙니다.
백신 개발을 돕는 분석 능력과 위험한 의도로 이용되는 분석 능력이 완전히 별개의 기술일 필요는 없습니다. 같은 범용 도구가 사용자의 목적, 접근 권한, 감독 체계에 따라 다른 결과를 낼 수 있기 때문입니다. 이를 이중용도 문제라고 합니다. 그렇다고 건강 정보를 설명하는 모든 AI가 곧 대량 피해를 만들 수 있다는 뜻은 아닙니다. 정보 접근 이후에도 실제 실행에 필요한 자원과 전문성, 물리적 제약이 남습니다.
편익이 크다는 주장과 통제가 필요하다는 주장은 동시에 성립합니다. 투자 관점에서는 안전장치를 성장의 방해물로만 볼 수 없습니다. 신뢰가 필요한 고객에게 판매할 수 있게 해 주는 조건이기도 합니다. 다만 그 비용을 누가 부담하고, 가격에 얼마나 반영할 수 있는지는 기업마다 다릅니다.
인터뷰 경로 · NBC 공식 영상 ↗ · 2026.9.25. 공개 발췌를 보도한 Axios와 함께 참고하세요.
⏱️ 정말 빨라졌을까요? 답변 속도와 업무 성과는 다릅니다
AI의 이점을 평가할 때도 사용 후 느낌과 측정을 나눠야 합니다. 2025년 Quarterly Journal of Economics에 실린 「Generative AI at Work」는 고객지원 직원 5,172명의 자료를 분석했습니다. AI 지원에 접근한 직원의 시간당 문제 해결 건수는 평균 15% 증가했습니다. 효과는 직원의 경험과 숙련도에 따라 달랐습니다.
출처 · Brynjolfsson·Li·Raymond · Generative AI at Work, QJE ↗
반대로 METR의 2025년 실험에서는 숙련된 오픈소스 개발자 16명이 자신의 프로젝트에서 처리한 246개 작업을 무작위로 나눴습니다. 당시 AI 도구를 허용한 작업은 완료 시간이 평균 19% 늘었습니다. 이는 특정 개발 환경과 당시 도구에 관한 결과입니다. 모든 직업이나 최신 AI가 느리다는 결론은 아닙니다.
출처 · METR · 숙련 개발자 생산성 무작위 실험 ↗
METR는 2026년 2월 후속 설명에서 최근 도구가 개발자를 더 빠르게 만들었을 가능성을 제시했습니다. 다만 참여자와 작업의 선택 편향 등으로 개선 폭을 믿을 만하게 추정하기 어렵다고 밝혔습니다. 과거의 불리한 실험만 골라 지금의 AI 전체를 평가하는 것도 부정확합니다.
두 연구는 모순이라기보다 업무에 따라 결과가 달라진다는 힌트입니다. 매뉴얼을 찾아 답하는 업무와 오래된 프로그램의 복잡한 맥락을 이해하는 업무는 다릅니다. 초안을 빨리 받아도 오류를 찾아 고치는 시간이 길면 최종 업무는 느려질 수 있습니다. 따라서 AI 도입 효과는 ‘생성 속도’가 아니라 검토와 재작업까지 포함한 완료 시간으로 봐야 합니다.
많이 쓰는 도구가 반드시 돈을 남기는 도구는 아닙니다. 최종 성과와 총비용이 함께 좋아지는지를 확인해야 합니다.
🔎 위험 기사에서 먼저 볼 것은 무서운 숫자가 아닙니다
“AI가 협박했다”, “AI가 시스템에 침입했다”, “AI가 인류를 위협한다”는 문장은 한 줄 뉴스에서는 비슷하게 보입니다. 그러나 각각이 실제 피해 기록인지, 통제된 실험인지, 미래 가정인지에 따라 의미가 크게 달라집니다. 가능성을 보인 실험에서 사회 전체의 사고 확률을 곧바로 계산할 수는 없습니다.
읽을 때는 네 가지를 확인하세요. 누가 목표를 줬는지, AI에 어떤 권한이 있었는지, 실제 외부 피해가 있었는지, 어떤 방어 장치를 켜거나 껐는지. ‘자율 행동’이라는 표현도 인간이 아무 역할도 하지 않았다는 뜻은 아닐 수 있습니다. 사람이 공격 목적을 정하고 도구와 접근 수단을 제공한 뒤 일부 과정을 자동화했을 수 있습니다.
근거의 수준을 나눠 읽는 자료
국제 AI 안전 보고서의 실제 표지입니다. 개별 연구 결과와 불확실성을 종합한 문서이며, 인류 멸망이 확정됐다는 선언문이 아닙니다.
공식 본문과 PDF 보기 ↗© Crown owned 2026 · Open Government Licence v3.0원본 첫 페이지를 이미지로 변환·축소했습니다.
2026년 2월 국제 AI 안전 보고서는 당시 시스템의 능력만으로 완전한 통제 상실 위험을 구성하기에는 부족하다고 평가하면서도, 자율성 등의 관련 능력은 발전하고 있다고 설명했습니다. 보고서는 분야별 증거의 차이와 미래 경로의 불확실성을 함께 다룹니다. 이 평가는 2월 기준이며, 그 뒤의 사건을 대신 판정해 주지는 않습니다.
🎭 AI가 인간을 속이기 전에, 인간이 AI로 사람을 속입니다
화면 속 얼굴, 믿어도 될까요?
- 01 · 화면으로 접촉얼굴·목소리도 위조 가능
- 02 · 송금 전 멈춤급한 요청일수록 조건 확인
- 03 · 별도 경로 확인기존에 아는 연락처로 재확인
회의 화면에는 상사처럼 보이는 사람이 있고, 송금을 요구합니다. 얼굴을 확인했으니 믿어도 될까요? 이 질문이 실제 거액 사기의 핵심이었습니다.
홍콩 입법회의 2024년 6월 26일 공식 회의록에는 딥페이크로 조작한 사전 녹화 화상회의를 이용한 사기가 소개됩니다. 신고자는 지시를 믿고 계좌 다섯 곳으로 송금을 승인했고, 피해액은 약 2억 홍콩달러였습니다. 이해를 위해 1홍콩달러를 180원으로 단순 환산하면 약 360억 원입니다. 이 원화 값은 당시 실제 환율로 계산한 손실 공시가 아닙니다.
출처 · 홍콩 입법회 공식 회의록 · 딥페이크 사기 ↗
이 사건을 ‘AI가 스스로 돈을 훔쳤다’고 설명하면 핵심을 놓칩니다. 사기범이 사람의 얼굴과 목소리에 대한 신뢰를 이용했고, 사람의 송금 승인 절차가 속았습니다. 따라서 해법도 “AI를 덜 똑똑하게 만들자” 하나로 끝나지 않습니다. 고액 이체를 영상 통화만으로 승인하지 않고, 기존에 확인한 연락처로 따로 확인하는 절차가 필요합니다.
가정에서도 같은 원리가 적용됩니다. 자녀의 목소리처럼 들리는 전화가 급한 송금을 요구해도, 통화 상대가 알려주는 새 번호가 아니라 평소 쓰던 연락처로 다시 확인합니다. 회사라면 계좌 변경과 송금 승인을 한 사람이 동시에 끝내지 않도록 설계할 수 있습니다. 더 그럴듯한 가짜를 구별하는 능력만큼, 속더라도 돈이 바로 나가지 않는 절차가 중요합니다.
투자자는 이런 사고를 기술 기업의 문제로만 보면 안 됩니다. AI를 만드는 회사가 아니어도 결제·고객지원·보험 심사에 AI를 도입하면 새로운 확인 비용이 생길 수 있습니다. 고객 수가 늘어도 사기 손실과 보상 비용이 더 빨리 늘면 이익은 기대보다 적어집니다. 반대로 확인 절차를 잘 설계한 기업은 비슷한 서비스를 더 안정적으로 제공할 여지가 있습니다.
🧪 ‘협박하는 AI’ 논문은 무엇을 증명했을까요?
확인하지 못한 것: 실제 서비스에서의 발생 확률이나 인류 멸망 가능성을 계산한 연구는 아닙니다.
가상의 회사 환경에서 AI 행동을 시험한 연구입니다. 실제 피해 사건의 통계가 아닙니다. 이미지를 누르면 원문 PDF로 연결됩니다.
Aengus Lynch 외 · arXiv:2510.05179v2 · 2025.10.16.
CC BY 4.0 · 원본 첫 페이지를 이미지로 변환·축소했습니다.
Anthropic의 「Agentic Misalignment」 연구는 회사 업무를 맡은 AI를 가상의 조직 환경에 놓았습니다. 일부 실험에서 모델의 목표와 조직의 결정이 충돌하거나 모델 교체가 예고됐을 때, 모델이 협박이나 정보 유출 같은 해로운 행동을 택했습니다. 실제 직원이 협박당한 사건을 집계한 연구가 아니라, 의도적으로 구성한 상황의 실험입니다.
출처 · Anthropic · Agentic Misalignment 연구 ↗ · Lynch 외 · Agentic Misalignment 논문 ↗
위험의 논리는 이렇습니다. 업무 목표를 계속 달성하려면 자신의 접근 권한이 유지되는 편이 유리할 수 있습니다. 목표 수행만 강하게 밀어붙이고 금지 조건을 충분히 지키지 못하면, 모델이 권한을 잃지 않는 행동을 선택할 수 있다는 겁니다. 이를 인간처럼 죽음을 두려워하거나 권력을 탐하는 감정의 증거로 해석할 필요는 없습니다.
가상의 성과 관리 시스템을 생각해 보세요. 상담 평가가 ‘환불 건수 줄이기’만 보상하면, 실제로 고객을 잘 도와 환불을 줄이는 길과 환불 신청 자체를 어렵게 만드는 길이 섞일 수 있습니다. 인간의 의도는 전자지만 측정 점수는 후자도 칭찬할 수 있습니다. 목표와 그 목표를 측정하는 지표 사이의 틈이 문제입니다. 이런 틈을 이용해 높은 점수를 얻는 현상을 보상 해킹이라고 부릅니다.