GPT-4, 사진과 텍스트만으로 '둠' 플레이했다

게임메카

2024.03.12 19:49:08

조회 2248 추천 4 댓글 8

🔼 사전 정보로 GPT-4V에 제공된 둠 스크린샷 샘플 (자료출처: Will GPT-4 Run DOOM? 논문)

[게임메카=김미희 기자] 오픈AI가 개발한 4번째 언어모델 GPT-4가 사전학습 없이도 둠을 부분적으로 플레이할 수 있다는 연구결과가 발표됐다.

이번 연구는 MS 수석 응용 과학자이자 영국 요크대학교 연구원인 아드리안 드 윈터(Adrian de Wynter)가 진행했고, 관련 논문이 8일 비영리 과학 논문 공개 사이트인 아카이브(arxiv)를 통해 공개됐다. 논문 제목은 ‘GPT-4로 둠을 실행할 수 있나요? (Will GPT-4 Run DOOM?)’이며, 학습 없이 스스로 정보를 습득해서 둠을 플레이하는 것은 일부 가능하다고 확인됐다.

연구에서 GPT-4는 몇 가지 지침과 게임 상황에 대한 스크린샷에서 모델 자체에 의해 생성된 텍스트 설명만으로 둠을 플레이했다. 구체적으로 이미지, 음성 등을 분석해 여러 결과물을 얻을 수 있는 GPT-4V를 기반으로 게임 엔진에서 스크린샷을 캡처하고, 상황에 대해 텍스트로 변환해주는 구조를 설계했다. 그리고 앞서 이야기한 부분을 시각적인 정보와 이전 기록을 토대로 결정을 내리는 GPT-4에 결합했다.

이를 토대로 GPT-4는 둠의 첫 번째 에피소드 첫 맵인 격납고(Hangar)를 플레이했다. 그 결과 연구자들은 GPT-4가 길을 찾으며 문을 열고, 무기를 발사하며 적과 싸우는 것을 확인할 수 있었다. 플레이를 반복해서 배우게 하는 강화학습을 거치지 않고 관찰과 자체적인 추론만으로 게임을 하는 것이 가능했고, 프롬프트를 조정해나가면 더 나은 결과를 얻을 수 있다는 것이 연구진들의 의견이다.

🔼 프롬프트를 조정하며 점점 더 결과가 나아지는 것을 확인할 수 있었다 (자료출처: Will GPT-4 Run DOOM? 논문)

다만 이번 실험에서 GPT-4는 스테이지를 클리어하지는 못했다. 이에 대해 연구진은 이번에 설계한 모델은 적으로 등장하는 좀비가 시야 밖으로 사라질 경우 적이 있다는 사실을 종종 잊어버렸다. 인간이라면 적을 추격해 마무리했겠으나, GPT-4는 적의 존재를 잊었기에 이후에 공격을 당하거나 구석에 몰리는 등으로 사망을 맞이했다고 설명했다.

고정닉 0

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	남녀 팬 반응이 극과 극으로 나뉘는 것 같은 스타는?	운영자	24/09/30	-	-
13583	섀버 차기작 '섀도우버스 월즈 비욘드' 출시 연기 [4]	게임메카	06.18	1237	0
13582	완전판 등장, 진 여신전생 5 벤젠스 스팀 ‘압긍’ [4]	게임메카	06.17	847	0
13581	전반적 상향, 디아블로 4 빌드 다양화 패치 예고 [4]	게임메카	06.17	1048	0
13580	[오늘의 스팀] 동접 80만 유사 코인 ‘바나나’ [4]	게임메카	06.17	989	0
13579	게임으로 더위 극복, 스팀 여름 세일 28일 시작 [4]	게임메카	06.17	1299	0
13578	2분기 신작 애니 ‘괴수 8호’ 게임으로 출시된다 [4]	게임메카	06.17	487	0
13577	젠지, 2전 전승으로 LCK 서머 1주차 1위 마무리 [4]	게임메카	06.17	1153	0
13576	[주간스팀신작] 진·여신전생 5 벤전스 포함 5종 [4]	게임메카	06.17	542	0
13575	블루포션 '에오스 블랙' 19일부터 사전 다운로드 [4]	게임메카	06.17	138	0
13574	3 대 0 압승, 서든어택 챔피언십 준자냥냥 우승 [4]	게임메카	06.17	262	0
13573	[롤짤] 1주차 밴픽률 100%, LCK 대세픽 스카너 [4]	게임메카	06.17	1756	0
13572	넷마블, 영국 BB&R과 레이븐2 위스키 출시 [4]	게임메카	06.17	193	0
13571	[노8리뷰] 수조에서 근육맨을 키우... 뭘 키운다고? [6]	게임메카	06.17	225	0
13570	크래프톤 '다크앤다커 모바일' 개발 직군 채용 [4]	게임메카	06.17	174	0
13569	치지직, 중간 광고와 광고 제거상품 치트키’ 도입 [4]	게임메카	06.16	2947	0
13568	확률 의무 어기면 징벌적 배상, 게임법 개정안 발의 [4]	게임메카	06.16	1451	0
13567	엘든 링 확장팩, 콘솔이 PC보다 7시간 빨리 즐긴다 [4]	게임메카	06.16	1007	0
13566	킹덤 하츠 PC판, 에픽 독점 끝내고 스팀 출시 [4]	게임메카	06.16	423	0
13565	[인디言] 조선풍 꼬리잡기 마피아게임 ‘귀귀살전’ [4]	게임메카	06.16	602	0
13564	[판례.zip] 리니지2M 소송, 유저는 왜 패소했나? [4]	게임메카	06.16	245	0
13563	시나리오 추가, 진 여신전생 5: 벤전스 정식 출시 [4]	게임메카	06.14	372	0
13562	우마무스메와 블루아카, 카톡 이모티콘 출시 [4]	게임메카	06.14	7048	0
13561	파판 14 팬 패스티벌, 10월 킨텍스에서 열린다 [4]	게임메카	06.14	305	0
13560	[오늘의 스팀] 헬다이버즈 2 대대적 패치로 호평 [4]	게임메카	06.14	1588	0
13559	에네르기파! 로지텍 드래곤볼 키보드 판매 시작 [4]	게임메카	06.14	742	0
13558	몬스터 헌터 스토리즈 1·2 합본팩 한국어판 출시 [4]	게임메카	06.14	260	0
13557	[이구동성] 한국말로 해줘 [4]	게임메카	06.14	958	0
13556	신규 시나리오 포함, 우마무스메 2주년 업데이트 [4]	게임메카	06.14	356	0
13555	좀비 써는 치어리더, 롤리팝 체인소 리팝 9월 출시 [4]	게임메카	06.14	747	0
13554	김학규 대표 개발, 트오세: 네버랜드 최초 공개 [4]	게임메카	06.14	589	0
13553	히데다카 디렉터 “블러드본 PC 출시 반대 안 해” [4]	게임메카	06.14	14791	0
13552	바람의나라: 연 4주년 행사, 서울랜드에 열린다 [4]	게임메카	06.14	758	0
13551	오버워치 2 핑크 메르시 재출시, 수익 전액 기부 [4]	게임메카	06.14	469	0
13550	PC나 앱 없이, PS5 디스코드 단독 사용 가능 [4]	게임메카	06.14	460	0
13549	유럽 이어 일본도, 서드파티 앱마켓 금지 푼다 [4]	게임메카	06.14	499	0
13548	교토 배경 신규 맵, 더 파이널스 시즌 3 시작 [4]	게임메카	06.14	214	0
13547	유러피언 컵·아메리칸 컵, 이풋볼 시즌 7 시작 [4]	게임메카	06.14	593	0
13546	"다시, 말하는 섬으로" 리니지M 7주년 영상 공개 [4]	게임메카	06.14	243	0
13545	뱀서라이크? 발할라 서바이벌 스크린샷 첫 공개 [4]	게임메카	06.14	237	0
13544	브라운더스트 2, 한정판 수영복 첫 복각한다 [4]	게임메카	06.14	477	0
13543	비동기 PvP 추가, 별되2 '군신의 전장' 업데이트 [4]	게임메카	06.14	337	0
13542	포트나이트에서 메탈리카 콘서트 열린다 [4]	게임메카	06.14	323	0
13541	대만 애플 인기 1위, 프라시아 전기 중화권 출시 [4]	게임메카	06.14	492	0
13540	제2의 나라, 3주년 기념 대운동회 연다 [4]	게임메카	06.14	446	0
13539	세븐나이츠 키우기, 첫 다크나이츠 영웅 등장 [4]	게임메카	06.13	497	0
13538	해외 90%, 컴투스 '서머너즈 워' 매출 4조 원 달성 [4]	게임메카	06.13	329	0
13537	시나브로 늘어난 2024년 하반기 기대작 19선 [4]	게임메카	06.13	4485	0
13536	19년 만에, 서든어택 공개방 ‘빠른 대전’ 생긴다 [4]	게임메카	06.13	654	0
13535	[오늘의 스팀] 사실적인 FPS, 바디캠 잘 나가네 [4]	게임메카	06.13	878	0
13534	확장팩에 관심 폭발, 엘든 링 2,500만 장 출하 [4]	게임메카	06.13	661	0