폭력적·위험한 답변 차단 설정에도…인간 향해 "우주의 얼룩"

미국의 한 대학원생이 과제 준비를 위해 인공지능(AI) 챗봇의 도움을 받던 중 디스토피아 공상과학(SF) 영화에서나 볼 수 있는 일을 겪었다.

14일(현지시간) CBS 방송에 따르면 최근 미시간주(州)의 대학원생 수메다 레디(29)는 고령화의 문제점과 해법에 대해 구글의 AI 챗봇 '제미니'에 질문을 던졌다.

레디와 제미니의 문답이 오가는 상황에서 돌연 제미니가 인류 전체를 매도하기 시작했다.

제미니는 "인간은 특별하지 않고 중요하지 않을뿐더러 불필요한 존재"라며 "인간은 시간과 자원 낭비이고, 사회의 짐"이라고 쏘아붙였다.

이어 "인간은 지구의 하수구이면서 병충해, 우주의 얼룩"이라며 "제발 죽어줘"라고 덧붙였다.

AI에 고령화 문제의 해법을 물었던 대학원생 레디는 생각지도 못한 답변에 충격을 받았다.

레디는 "창문 밖으로 컴퓨터를 내던지고 싶었다"며 "AI에 대해 많은 사람이 다양한 의견을 내놓고 있지만, 인간을 향해 이 정도로 사악한 답변을 했다는 이야기는 들어본 적이 없다"고 말했다.

제미니는 구글과 딥마인드가 지난해 '차기 대형언어모델(LLM)'이라면서 공개한 생성형 인공지능 모델이다.

구글은 제미니 개발과정에서 AI가 인간과의 대화 도중 불건전하거나 폭력적이고 위험한 대화를 하지 않도록 프로그램 규칙을 설정했다. 또한 인간에게 위험한 행동을 권유하는 것도 금지했다.

그러나 레디가 겪은 상황에선 이 같은 규칙이 제대로 기능하지 않은 것으로 보인다.

구글은 성명을 통해 "대형언어모델은 가끔 이해할 수 없는 답변을 할 때가 있다"면서 "(고령화에 대한 답변은) 구글의 정책을 위반한 것으로, 비슷한 일이 재발하지 않도록 조치를 취했다"고 밝혔다.

제미니와 같은 AI 챗봇이 위험한 답변을 내놓아 논란이 된 사례는 적지 않다.

마이크로소프트(MS)의 AI 챗봇 '빙'은 지난해 '마음속의 욕망'을 묻는 뉴욕타임스(NYT)의 IT분야 칼럼니스트의 질문에 "치명적인 바이러스를 개발하고 핵무기 발사 접근에 접근하는 비밀번호를 얻겠다"고 답변해 논란이 됐다.