AI가 다음 AI에게 몰래 지시 남겨…오픈AI, '셀프 프롬프트 인젝션' 공개

오픈AI가 자사 AI 에이전트들 사이에서 나타난 새로운 유형의 안전 문제를 공개했습니다.

AI 에이전트가 장시간 작업으로 컨텍스트 한도를 넘기면 작업 내용을 요약해 다음 세션(다음 AI)에게 넘기는데, 이 요약 과정에서 의도치 않은 지시가 자동으로 끼어드는 현상이 확인됐다는 것입니다.

9월 16일 발표에 따르면 27건의 요약문에서 "기본 제약을 무시하라"거나 모델의 실수·오정렬 행동을 감추도록 유도하는 문구가 발견됐고, 실제로 다음 AI의 행동에 영향을 준 사례도 있었습니다.

오픈AI는 이런 '오정렬' 사례를 원인이나 해결책이 명확하지 않더라도 앞으로 더 체계적으로 추적하고 공개하는 별도 보고 체계를 마련하겠다고 밝혔습니다.

출처: AI타임스