키미에 물었는데 클로드가 답했다?···앤트로픽 "中 AI기업 '수상한 2300만건'"

앤트로픽, 中 AI기업 '클로드 증류' 주장. 사진=연합뉴스 제공

미국 인공지능(AI) 기업 앤트로픽이 중국 AI 기업들이 자사 생성형 AI 모델 '클로드'를 대규모로 활용해 자사 모델의 성능을 높이는 이른바 '증류(distillation)'를 시도한 정황을 확인했다고 밝혔다. 미·중 간 AI 기술 경쟁이 치열해지는 가운데 경쟁사 모델을 활용한 기술 확보와 서비스 보안을 둘러싼 논란이 커지고 있다.

앤트로픽은 10일(현지시간) 공개한 위협정보 보고서에서 문샷AI와 딥시크 등 중국 AI 기업들이 해외에서 운영되는 이른바 '환승역(transfer stations)'을 통해 클로드에 대규모 질의를 전달한 것으로 파악했다고 밝혔다.

증류는 경쟁 AI 모델에 대량의 질문을 던져 답변을 확보한 뒤 이를 자사 모델의 학습이나 성능 개선에 활용하는 방식이다. 후발 AI 기업이 선도 모델의 성능을 비교적 빠르게 끌어올리는 수단으로 활용될 수 있어 AI 업계에서 주목받아 왔다.

앤트로픽에 따르면 중국 밖에서 운영되는 일부 중개 서비스는 가짜 신원과 도난·위조 신용카드, 탈취된 API 키 등을 이용해 미국 AI 서비스에 접근한 것으로 조사됐다.

특히 문샷AI는 수천개의 계정을 활용해 지난 5월부터 7월까지 클로드와 2천300만건 이상의 교신을 주고받은 것으로 앤트로픽은 추정했다. 앤트로픽은 최근 7개월 동안 중국 소재 연구기관 7곳이 유사한 방식의 증류를 시도한 정황도 확인했다고 밝혔다.

이 과정에서 이용자 데이터가 다른 AI 모델로 전달된 사례도 있었다고 앤트로픽은 주장했다.

보고서에 따르면 한 이용자는 중국 청두의 폐쇄회로(CC)TV 카메라 수백대에서 수집된 한 사람의 감시 데이터를 분석해달라고 문샷AI의 AI 서비스 '키미'에 요청했다. 앤트로픽은 해당 요청이 중개자 네트워크를 통해 클로드로 전달됐다고 설명했다.

앤트로픽의 위협정보 책임자인 제이콥 클라인은 월스트리트저널(WSJ)에 이용자가 자신의 키미 이용 내역이 클로드로 전달되고 있다는 사실을 알기 어려웠을 것이라고 말했다.

이번 보고서는 생성형 AI를 둘러싼 경쟁이 단순한 모델 성능 경쟁을 넘어 데이터 확보와 모델 접근권을 둘러싼 경쟁으로 확대되고 있다는 점에서도 주목된다.

미국 정부 역시 AI 모델의 대규모 증류 문제를 기술 안보 차원의 사안으로 바라보고 있다. 앞서 백악관 과학기술정책실(OSTP)의 마이클 크라티오스 실장은 지난 7월 문샷AI가 앤트로픽의 모델을 증류해 차세대 AI 모델 개발에 활용했다고 주장한 바 있다.

스콧 베선트 미국 재무장관도 산업 규모의 증류에 관여하는 중국 기업에 대해 제재나 블랙리스트 지정 가능성을 경고한 것으로 전해졌다.

AI의 악용 가능성도 이번 보고서에서 함께 제기됐다.

앤트로픽은 클로드가 해킹 범죄와 생물학 연구 등 민감한 분야에 활용된 사례를 확인했다고 밝혔다. 중국의 한 이용자가 조류인플루엔자 바이러스를 포유류에 감염되도록 변형하기 위한 목적으로 클로드를 이용한 사례도 보고서에 포함됐다.

앤트로픽 측은 과거에는 이 같은 AI 악용을 잠재적인 위험으로 우려했지만 이제 실제 사례가 나타나고 있다는 취지로 설명했다. 오픈AI에서도 생물무기와 독극물 관련 유사 질의가 확인된 것으로 WSJ은 전했다.

사이버 보안 분야에서도 AI를 활용한 공격 정황이 확인됐다고 앤트로픽은 밝혔다.

보고서에는 중국 창사에 기반을 둔 것으로 추정되는 중국어 사용 해킹 조직이 클로드를 활용해 사이버 공격을 수행한 사례가 담겼다. 앤트로픽은 이 조직이 AI를 여러 작업 단위로 나눠 정찰과 침투 관련 작업을 수행하도록 했으며, 약 50개 기관이 표적이 된 것으로 파악했다고 설명했다.

또 네트워크 장비를 대상으로 한 한 공격에서는 한 달 동안 10여개의 제로데이 취약점 후보가 발견됐다고 앤트로픽은 밝혔다.

이밖에 보고서에는 러시아 국가 배후로 추정되는 해킹 조직의 우크라이나 정부·군·외교기관 대상 공격, 프랑스 해커의 개인정보 유출 사이트 운영, 튀르키예 기업의 말레이시아 선거 관련 여론조작 등 AI가 사이버 공격과 정보전에 활용된 사례도 포함됐다.

이번 사례는 생성형 AI 산업이 성장할수록 모델 성능뿐 아니라 데이터와 모델 접근권을 둘러싼 보안 관리의 중요성도 커지고 있음을 보여준다. AI 기업들은 앞으로 비정상적인 API 사용을 탐지하고 이용자 데이터의 외부 전송을 방지하는 등 서비스 보안 체계를 강화할 것으로 전망된다. 미·중 기술 경쟁이 지속되는 만큼 AI 모델의 무단 활용을 둘러싼 규제와 정책 논의도 확대될 가능성이 있다.

다만 이번 보고서에 담긴 구체적인 사례와 중국 기업들의 행위에 대해서는 앤트로픽 측의 조사 결과라는 점에서 당사자들의 입장과 추가적인 사실 확인이 필요할 것으로 보인다.