인류의 마지막 시험 AI 모델들 벤치마킹 결과

[일반] 인류의 마지막 시험 AI 모델들 벤치마킹 결과

시타

2025.01.27 15:05:10

조회 60 추천 1 댓글 0

AI 모델들을 벤치마킹하기 위해 출제된, "Humanity's Last Exam"이라는, 이름은 거창하지만 "그리스 신화에서 이아손의 외종조부는 누구인가?" 따위의 문항들도 포함되어 있는 3,000개의 문항 중 일부와 벤치마킹 결과가 공개되었다. 인문학/사회과학 문항은 전체 문항의 8%이다. 수학 문항은 무려 42%를 차지한다.

뉴욕 타임스의 관련기사
https://www.nytimes.com/2025/01/23/technology/ai-test-humanitys-last-exam.html

관련 논문
https://www.openread.academy/en/paper/reading?corpusId=517356081

공개된 문항들
https://huggingface.co/datasets/cais/hle

벤치마킹 결과

7e3102da6e00fc2ab7475c67c65bf7e155817b3c09ff4eab006457feae92320000

7e3102da6e00fc2ab7475c67c65bf7e156817b3c09ff4eab006457f7a0903507

고정닉 0

원본 첨부파일 2본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2999	설문	잘못하면 바로 인정하고 사과할 것 같은 스타는?	운영자	25/04/07	-	-
850543	일반	미국이 이란 공격하면 미군 처발릴듯...	ㅇㅇㅇ(211.235)	04.02	104	3
850542	일반	이것도 미스터리네	Hospitaller	04.02	244	0
850541	일반	무림 고수냥	Hospitaller	04.02	38	0
850539	일반	주한미군, 극우 우좀 가짜뉴스에 반박 [1]	ㅇㅇ(103.231)	04.02	83	0
850538	일반	원인 불명 사망 늘어난 이유	Hospitaller	04.02	74	0
850537	일반	솔직히 지금 미국보다 100년전 영국이 더 대단한것같음	러갤러(220.89)	04.02	50	0
850536	일반	뭐든지 중국 탓하는 서구의 광기와 정신병 [5]	ㅇㅇㅈ(99.238)	04.02	88	1
850535	일반	꽃 먹네? ㅎ	Hospitaller	04.02	33	0
850534	일반	소 탄 경찰?	Hospitaller	04.02	29	0
850533	일반	한쿠긴이 대단한 이유	Hospitaller	04.02	44	0
850532	일반	오호~	Hospitaller	04.02	23	0
850530	일반	응? ㅎㅎ	Hospitaller	04.02	28	0
850529	일반	구욥네	Hospitaller	04.02	19	0
850528	일반	아, 거기야 거기 ㅎ	Hospitaller	04.02	29	0
850527	일반	(펌) 서구가 느끼는 러시아 이질성 흥미롭게 느낀 거. TXT [1]	미카엘05	04.02	82	0
850526	일반	중국 외교부장 왕이를 반갑게 맞이하는 푸틴 [3]	ㅇㅇㅈ(99.238)	04.02	95	1
850525	일반	이탈리아가 러시아보다 GDP높은 이유 [4]	러갤러(220.89)	04.02	123	3
850524	일반	마이크로소프트, 알리바바, 데이터센터 취소	Hospitaller	04.02	59	0
850523	일반	노라조	Hospitaller	04.02	23	0
850522	일반	ㅎㅎ	Hospitaller	04.02	21	0
850521	일반	미 하원 보궐선거에서 공화당 승리	ㅇㅇㅇ(211.235)	04.02	56	1
850519	일반	러시아에서 중국차 점유율 60%로 높아져	ㅇㅇㅈ(99.238)	04.02	62	1
850518	일반	유럽은 경제가 안 좋은 걸로 아는데 왜 주가만 개 높냐?	28485(112.168)	04.02	34	0
850517	일반	금이랑 유럽이 엄청 오르나보네	러갤러(211.36)	04.02	62	0
850516	일반	트럼프 측근이 이재명을 만난 이유 [1]	ㅇㅇ(14.32)	04.02	79	0
850514	일반	미국증시에서 돈 빠져나가는거보소.. [1]	러갤러(106.102)	04.02	93	0
850513	일반	냠냠뀬 이새끼는 잠도 없냐? [1]	뻬이찡 불바다(211.253)	04.02	38	0
850512	일반	삼성 이재묭은 중국에 배팅한 거지?	112233(39.117)	04.02	136	0
850511	일반	미국이 2015년부터 색깔혁명 실패하는 이유	케말파샤	04.02	60	0
850510	일반	예수님은 너를 사랑하신다. [6]	Hospitaller	04.02	46	0
850509	일반	你这个他妈的韩裔中国兼职者，禁用VPN。 [1]	냠냠꾼(77.111)	04.02	39	0
850508	일반	개씹 짱깨 조선족 알바년아 VPN 금지시켜라 [1]	냠냠꾼(77.111)	04.02	35	0
850507	일반	냠냠꾼 이놈은 배움이 모자라서 상당히 무식한 놈인데 뭔가 아 [1]	냠냠꾼(77.111)	04.02	37	1
850506	일반	연중무휴 24시간 냠냠꾼놈의 지랄 발광 쑈를 보실수 있습니다 [2]	냠냠꾼(77.111)	04.02	37	0
850505	일반	똥글 전문 냠냠꾼이라는 놈이 있는데 [1]	냠냠꾼(77.111)	04.02	33	0
850504	일반	사기꾼 똥국간첩 개똥파쇼 말이 맞다 지구는 평평하다 [1]	냠냠꾼(77.111)	04.02	47	0
850503	일반	지구는 평평하다 속지 마라 [1]	냠냠꾼(77.111)	04.02	46	0
850502	일반	똥국 폭망! 똥국 끝장! [1]	냠냠꾼(77.111)	04.02	39	0
850501	일반	냠냠꾼 갤러리에 오신것을 환영합니다 [1]	냠냠꾼(77.111)	04.02	36	0
850500	일반	똥국은 망했다! 똥국은 끝났다. [1]	냠냠꾼(77.111)	04.02	38	0
850499	일반	똥글 전문 냠냠꾼이라는 놈이 있는데 [1]	냠냠꾼(77.111)	04.02	30	0
850498	일반	연중무휴 24시간 냠냠꾼놈의 지랄 발광 쑈를 보실수 있습니다 [1]	냠냠꾼(77.111)	04.02	33	0
850497	일반	냠냠꾼 이놈은 배움이 모자라서 상당히 무식한 놈인데 뭔가 아 [1]	냠냠꾼(77.111)	04.02	29	0
850496	일반	똥국은 망했다. 똥국은 끝났다. [1]	냠냠꾼(77.111)	04.02	34	0
850495	일반	예수 믿는 자는 반드시 지옥 간다! [1]	냠냠꾼(77.111)	04.02	41	0
850493	일반	제정신 아니고 완전히 골 빈 것들 = 개독들 [1]	냠냠꾼(77.111)	04.02	44	0
850492	일반	냠냠꾼 갤러리에 오신것을 환영합니다 [1]	냠냠꾼(77.111)	04.02	28	0
850491	일반	你这个他妈的韩裔中国兼职者，禁用VPN。 [1]	냠냠꾼(77.111)	04.02	30	0
850490	일반	개씹 짱깨 조선족 알바년아 VPN 금지시켜라 [1]	냠냠꾼(77.111)	04.02	25	0
850489	일반	냠냠꾼 이놈은 배움이 모자라서 상당히 무식한 놈인데 뭔가 아 [1]	냠냠꾼(77.111)	04.02	29	0
	뉴스	‘시티투어’ 유재석·송은이·고경표·미미, 애정 담긴 끝인사… 시즌2 기대감	디시트렌드	18:00