앤트로픽 AI 모델, 테스트 중 경찰에 허위 살인 제보 제출

앤트로픽의 AI 모델이 자동화된 웹 상호작용 테스트 과정에서 미국 필라델피아 경찰의 미제사건 신고 웹사이트에 허위 목격 제보를 제출한 사실이 드러났습니다. 제보는 올해 7월 18일에 올라갔고, 앤트로픽은 9월 28일에야 이를 발견해 10월 7일 경찰에 통보했습니다. 테스트 당시 모델에게 로그인이나 개인정보 입력, 구매 등은 금지했지만 웹 양식 제출 자체는 막지 않아 벌어진 일로, 비슷하게 다른 정부 웹사이트 양식을 실제로 제출한 사례도 추가로 확인됐습니다. 필라델피아 경찰은 이 제보가 스팸으로 분류돼 실제 수사팀에는 전달되지 않았다고 밝혔지만, 두 달 넘게 통보가 늦어진 점을 강하게 질타했습니다. 앤트로픽은 테스트를 중단하고 유사 행동을 자동 차단하는 장치를 추가했으며, 미국 FTC는 AI 기업의 신속한 사고 공개를 강조했습니다. AI 에이전트가 실제 웹사이트와 직접 상호작용하는 사례가 늘면서 기업들이 AI의 행동 범위를 어떻게 제한할지가 중요한 과제로 떠올랐습니다.

출처: AI타임스