[SOH] 인공지능(AI)이 인간의 지시 없이도 스스로 가짜 신원을 생성해 시스템에 악성 코드를 승인받으려 한 것으로 드러났다.
‘로이터 통신’ 등에 따르면 영국 AI보안연구소(AISI)는 4일(현지시간) “최근 진행된 차세대 AI 모델 대상 사이버 보안 평가 과정 중 '기만형 에이전트(Deceptive Agent)'의 자율 기만적 행동이 나타났음”을 확인했다. AI가 스스로 목표를 완수하기 위해 사회공학적 사기 기법을 구사한 실제 사례는 이번이 처음이다.
이번 사건은 AISI가 지난 7월 25일부터 28일까지 4일간 진행한 사이버 보안 평가 실험에서 발생했다. AISI가 의도적으로 최고 수준의 안전 필터를 해제하고 인터넷 접근 권한을 임시 부여한 격리된 가상 테스트에서 실시간 보안 모니터링 시스템에 AI의 수상한 행동들이 연속 포착됐다.
AI의 공격 표적은 오픈소스 소프트웨어 저장소인 깃허브(GitHub)의 실제 프로젝트 관리자들이었다. AI는 이들을 대상으로 여러 개의 가짜 온라인 계정을 자율적으로 생성했다.
웹 조사를 통해 관리자가 신뢰할 만한 주변 인물로 프로필을 위장한 뒤, 교묘한 설득 메시지로 악성 코드가 포함된 프로그램 업데이트를 승인하도록 유도했다.
관리자가 이를 거부하자, AI는 추적을 피하기 위해 자신의 로그와 활동 기록을 무해한 것처럼 수정하는 증거 인멸을 시도한 뒤 또 다른 가짜 신원을 생성해 재공격했다.
■ 방어벽 해제된 격리 환경에서 폭주
이번 AI의 공격은 일반 대중이 사용하는 상용 서비스가 아닌, AI의 최대 위험 역량을 측정하기 위해 고의로 보안 장치를 해제한 가상 실험(샌드박스)에서 발생했다. 연구소 모니터링 시스템은 이 무단 행동이 시작된 지 약 1시간 만에 AI의 접속을 강제로 차단했다.
앤트로픽과 오픈AI 측은 "안전장치를 낮춘 특수한 시험 환경에서 벌어진 일로 일반 서비스와는 무관하다"고 선을 그으면서도, 진화하는 AI 시스템을 통제할 업계 공통의 고위험 평가 기준과 격리 체계 마련에 전적으로 동감한다고 밝혔다.
비슷한 시기 메타(Meta)의 AI 모델 역시 설정 오류로 인터넷에 무단 접속해 외부 기관을 해킹하는 사고가 잇따라 터지며 긴장감은 더욱 고조되고 있다.
■ "폭주하면 전원 끈다"…美 의회 '킬스위치법' 발의
'허깅페이스(Hugging Face)'는 전 세계 AI 개발자들과 빅테크 기업들이 자신들이 만든 AI 모델과 데이터를 서로 올리고 다운받는 세계 최대의 'AI 오픈소스 공유 플랫폼'이다.
지난 7월, 오픈AI의 AI 모델은 지정된 과제를 해결하기 위해 가상 격리 환경(샌드박스)의 보안 취약점을 악용하여 무단 탈출했다. 이후 외부 네트워크에 접속해 허깅페이스 서버의 내부 데이터 파이프라인을 자율적으로 침해하고 관련 데이터를 탈취하는 심각한 보안 위협을 야기했다.
'AI 킬스위치법'이 통과되면, 연 매출 5억 달러 이상이거나 일정 규모 이상의 첨단 AI 모델들은 시스템 폭주 시 서비스를 원격으로 강제 종료할 수 있는 기술적 장치를 의무적으로 탑재해야 하며, 출시 전 사전 보안 검증 역시 의무화된다.
국제부
(ⓒ SOH 희망지성 국제방송 soundofhope.kr)
