인류의 마지막 시험 AI 모델들 벤치마킹 결과

[일반] 인류의 마지막 시험 AI 모델들 벤치마킹 결과

시타

2025.01.27 15:05:10

조회 55 추천 1 댓글 0

AI 모델들을 벤치마킹하기 위해 출제된, "Humanity's Last Exam"이라는, 이름은 거창하지만 "그리스 신화에서 이아손의 외종조부는 누구인가?" 따위의 문항들도 포함되어 있는 3,000개의 문항 중 일부와 벤치마킹 결과가 공개되었다. 인문학/사회과학 문항은 전체 문항의 8%이다. 수학 문항은 무려 42%를 차지한다.

뉴욕 타임스의 관련기사
https://www.nytimes.com/2025/01/23/technology/ai-test-humanitys-last-exam.html

관련 논문
https://www.openread.academy/en/paper/reading?corpusId=517356081

공개된 문항들
https://huggingface.co/datasets/cais/hle

벤치마킹 결과

7e3102da6e00fc2ab7475c67c65bf7e155817b3c09ff4eab006457feae92320000

7e3102da6e00fc2ab7475c67c65bf7e156817b3c09ff4eab006457f7a0903507

고정닉 0

원본 첨부파일 2본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2976	설문	타고난 드립력으로 사석에서 만나도 웃길 것 같은 스타는?	운영자	25/02/10	-	-
836429	일반	재벌 싹다 해체하고 국민의 기본적인 삶이 보장되는	ㅇㅇ(118.235)	01.28	29	2
836428	일반	중국의 일개 벤처 기업 >> (넘사) >> 삼성이었네 ㄷㄷ [3]	러갤러(121.162)	01.28	77	0
836427	일반	큰거 온다고 하지 않았냐?	러갤러(180.70)	01.28	38	0
836426	일반	중공간첩믿는 저능아들 드디어 블랙옵스까지 갔노 ㅋㅋㅋ [1]	러갤러(222.119)	01.28	71	4
836425	일반	시총퍼거들 조용해진거 실화냐? [2]	러갤러(211.36)	01.28	80	4
836422	일반	ㅇㅇ	Hospitaller	01.28	22	0
836420	일반	트럼프 연설 생중계 보는데 코레아 얘기 없노 [1]	스웨디시형(175.127)	01.28	47	0
836419	일반	박상후는 계엄사태 뭐라고 하냐?	스웨디시형(175.127)	01.28	57	0
836418	일반	스콧좌 델타포스라며...니가 그러니까 안되는거야..	스웨디시형(175.127)	01.28	47	0
836417	일반	기자가 미정갤 하나보네..저걸 어떻게 맞추냐	스웨디시형(175.127)	01.28	39	0
836416	일반	형이다. 천지개벽이노 블랙옵스? 밀덕게시판이야?	스웨디시형(175.127)	01.28	51	0
836415	일반	딥 시크가 뭐냐? [1]	스웨디시형(175.127)	01.28	64	0
836409	일반	예수님은 참된 사랑이시고 너를 사랑하신다.	Hospitaller	01.28	20	0
836408	일반	ㅅㅂ 케냐대통령이 한국딥스 폭로했다!!!	러갤러(222.119)	01.28	84	3
836404	일반	전국 백화점들 줄파산 행렬	Hospitaller	01.28	70	0
836403	일반	엔비디아 폭락으로 끝날 것 같음?	Hospitaller	01.28	54	1
836396	일반	냠냠꾼 케말파샤 Hospitaller 개새끼	ㅇㅇ(223.39)	01.28	15	0
836395	일반	개씹 짱깨 조선족 알바년아 vpn 금지시켜라	ㅇㅇ(223.39)	01.28	13	0
836394	일반	동양에도 여왕있었다면서 왜 영국여왕이 유명함? [1]	러갤러(211.237)	01.28	24	0
836386	일반	미어샤이머 석좌교수 : 미국은 중국의 부상을 막기엔 너무 늦었다 [2]	ㅇㅇ	01.28	118	1
836385	일반	시총충들아 Nvidia 900조넘게 증발 [1]	러갤러(183.100)	01.28	72	1
836384	일반	엔비디아가 폭락하든 말든 뭔 상관이야 [2]	케말파샤	01.28	76	0
836383	일반	이틀전 글 올라올 때만 해도 다들 해프닝쯤으로 알았을걸 [1]	ㅇㅇ	01.28	58	0
836382	일반	간첩 케말 박신우! 야나놈 개씨발년 내가 어제 죽였다. [1]	냠냠꾼(77.111)	01.28	27	0
836381	일반	딥시크 하든말든 뭔 상관이야	케말파샤	01.28	37	0
836378	일반	조센진들 미개해. 북에선 삶은 감자나 옥수수만 먹는 줄 알지	냠냠꾼(77.111)	01.28	54	0
836377	일반	딥시크 = 거품 언플사기극	냠냠꾼(77.111)	01.28	87	0
836376	일반	딥시크 머냐? 정확히?	러갤러(125.133)	01.28	56	0
836375	일반	아놔 미개한 조센진 새끼! 소총 든 경찰은 없다고?!!!	냠냠꾼(77.111)	01.28	43	0
836374	일반	블랙옵스 찐 맞는 증거 떴다!!!!	00	01.28	63	1
836373	일반	중국이 빅 테크에 대해 옳았던 것 (포린 폴리시) [1]	시타	01.28	96	3
836372	일반	cia 블랙옵스가 간첩 케말이, hospitaller는 왜 처리 안함?	냠냠꾼(77.111)	01.28	49	0
836369	일반	예수 안믿으면 시발년	케말파샤	01.28	23	0
836368	일반	한국에 블랙옵스가 와서 작전을 했다고?????	러갤러(180.66)	01.28	68	0
836367	일반	내각제 개헌하면 좋지 [2]	ㅇㅇ(149.22)	01.28	45	1
836366	일반	블랙옵스 설명 (타갤펌)	00	01.28	41	2
836365	일반	드디어 떴다!! 미 블랙옵스팀 처음 공개되다!!	00	01.28	59	0
836361	일반	그러니까 겨울전쟁도 저리 될라고하니까 항복한걸 역사 주작한거구만	러갤러(211.36)	01.28	47	4
836360	일반	푸틴이 일부러 바이든때 미국힘빼고 트럼프때 합병할라고 판짠거아님?	러갤러(211.36)	01.28	59	3
836359	일반	전황뭐임? 이러다 하리코프 따이겄는데??	러갤러(211.36)	01.28	94	5
836357	일반	간첩 케말 박신우는 악신 몰록과 악마 바알 숭배 하는 적그리스도 사탄	냠냠꾼(77.111)	01.28	35	0
836356	일반	간첩 케말 박신우야 부자 될려고 믿는건 사탄숭배 바알신앙 이다. [1]	냠냠꾼(77.111)	01.28	36	0
836354	일반	이사람 왜 욕먹는거임? [3]	ㅇㅇ(118.235)	01.28	72	4
836353	일반	니들은 예수 안믿어서 못사는거다	케말파샤	01.28	27	0
836349	일반	케말이, hospitaller = 북괴의 남파간첩 [1]	냠냠꾼(77.111)	01.28	21	0
836347	일반	이번 트럼프 당선으로 민주주의와 법조인 정치는 종결될듯 [1]	러갤러(39.7)	01.28	53	2
836346	일반	미국행님이란 애 아버지가 이렇게 생겼던데 [1]	조선인 참수 운동(223.38)	01.28	45	0
836344	일반	다른나라는 왕이상징성강한대 영국만 왜 여왕이 상징성 강함?	러갤러(175.127)	01.28	26	0
836343	일반	똥꼬 섹스 하고싶다	국민의힘 지지자(223.38)	01.28	48	0
836341	일반	미국넘들도 알고 트럼프 뽑은겨	러갤러(211.36)	01.27	62	2
	뉴스	츠키, ‘곽기사3’서 곽준빈과 재회…둘만의 일본 돗토리 여행 떠나	디시트렌드	18:00