디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

[일반] 인류의 마지막 시험 AI 모델들 벤치마킹 결과

시타갤로그로 이동합니다. 2025.01.27 15:05:10
조회 59 추천 1 댓글 0
														


AI 모델들을 벤치마킹하기 위해 출제된, "Humanity's Last Exam"이라는, 이름은 거창하지만 "그리스 신화에서 이아손의 외종조부는 누구인가?" 따위의 문항들도 포함되어 있는 3,000개의 문항 중 일부와 벤치마킹 결과가 공개되었다. 인문학/사회과학 문항은 전체 문항의 8%이다. 수학 문항은 무려 42%를 차지한다.

뉴욕 타임스의 관련기사
https://www.nytimes.com/2025/01/23/technology/ai-test-humanitys-last-exam.html

관련 논문
https://www.openread.academy/en/paper/reading?corpusId=517356081

공개된 문항들
https://huggingface.co/datasets/cais/hle


벤치마킹 결과 



7e3102da6e00fc2ab7475c67c65bf7e155817b3c09ff4eab006457feae92320000


7e3102da6e00fc2ab7475c67c65bf7e156817b3c09ff4eab006457f7a0903507




추천 비추천

1

고정닉 0

1

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 말머리 제목 글쓴이 작성일 조회 추천
2995 설문 어떤 상황이 와도 가족 안 굶길 것 같은 생활력 강해 보이는 스타는? 운영자 25/03/24 - -
847281 일반 두창이 탄핵선고 또 안하노 [2] ㅇㅇㅇ(218.238) 03.19 58 1
847280 일반 이딴식으로 남발하니, 이 꼴이 안나? Hospitaller갤로그로 이동합니다. 03.19 19 0
847279 일반 국민은행, 1조원 규모 편법 PF대출 [1] ㅇㅇㅇ(218.238) 03.19 133 1
847278 일반 이성계, 아이유 = 짱깨 냠냠꾼(77.111) 03.19 31 1
847275 일반 아이유 누님 최고네 ㅋㅋ [3] ㅇㅇ갤로그로 이동합니다. 03.19 70 0
847274 일반 박그네와 북괴뢰 수괴 냠냠꾼(77.111) 03.19 22 0
847273 일반 폭싹 속았수다 재밌네 [1] ㅇㅇ갤로그로 이동합니다. 03.19 64 1
847272 일반 전쟁도 돈이 있어야 한다. Hospitaller갤로그로 이동합니다. 03.19 22 0
847270 일반 박근헤와 시진핑 ㅇㅇ(121.66) 03.19 37 0
847269 일반 대만이 똥국 침공 준비 중인데 시진핑 좆밥새낀 아무고토 못해 냠냠꾼(77.111) 03.19 24 0
847268 일반 제정신 아니고 완전히 골 빈 것들 = 개독 냠냠꾼(77.111) 03.19 16 0
847267 일반 이성계, 아이유 = 짱꼴라 냠냠꾼(77.111) 03.19 31 0
847266 일반 대통령 경호처 . 최상목 권한대행 경호 강화 검토 !!! 윤서인갤로그로 이동합니다. 03.19 25 0
847265 일반 윤대통령 만세 분신 79세 열사 사망 윤서인갤로그로 이동합니다. 03.19 20 0
847264 일반 폴리마켓서 윤석열 탄핵확률 급감 [2] 윤서인갤로그로 이동합니다. 03.19 55 0
847263 일반 그래서 헌법재판소에 중국인 있습니까 없습니까? 윤서인갤로그로 이동합니다. 03.19 20 0
847262 일반 박근혜 탄핵에 중국인 유학생 6만명 동원 ? [1] 윤서인갤로그로 이동합니다. 03.19 33 0
847261 일반 2024년 글로벌 반도체 제조장비 업체 톱 10 [3] 시타갤로그로 이동합니다. 03.19 81 1
847260 일반 재판중에 뻐큐 날리는 윤석열 [1] ㅇㅇ갤로그로 이동합니다. 03.19 47 0
847259 일반 국힘 현수막 근황 [1] ㅇㅇ갤로그로 이동합니다. 03.19 44 0
847258 일반 방탄복 입은 이재명 ㅇㅇ갤로그로 이동합니다. 03.19 46 0
847257 일반 윤석열과 한동훈의 대화 ㅇㅇ갤로그로 이동합니다. 03.19 27 0
847256 일반 자연파괴로 생긴 인간 파괴, 실제 사례 Hospitaller갤로그로 이동합니다. 03.19 22 0
847255 일반 윤대통령 '교체' 당했다는 증거 ㅇㅇ갤로그로 이동합니다. 03.19 30 0
847254 일반 헌재 결론 늦어지고있는 이유 ㅇㅇ갤로그로 이동합니다. 03.19 42 0
847253 일반 대한민국에서 제일 귀여운 정치인 ㅇㅇ갤로그로 이동합니다. 03.19 24 0
847252 일반 쿠르스크 항복하는 우쿠라군 ㅇㅇ(211.234) 03.19 54 0
847251 일반 NATO 선전질로 정신승리하는 거 보소 Hospitaller갤로그로 이동합니다. 03.19 29 0
847250 일반 클럽에서 노는 우크라녀 ㅇㅇ(211.234) 03.19 46 0
847249 일반 트럼프 말 맞지 안냐? [1] ㅇㅇ갤로그로 이동합니다. 03.19 47 0
847248 일반 지금 우크라이나군은 제정신이 아냐, ㅋㅋ Hospitaller갤로그로 이동합니다. 03.19 38 0
847247 일반 휴거일이 언제냐? [1] ㅇㅇ갤로그로 이동합니다. 03.19 39 0
847246 일반 미국, 주말에 토네이도 강타 Hospitaller갤로그로 이동합니다. 03.19 28 0
847240 일반 동성애와 반기독교 정신병 걸린 공산 빨갱이 냠냠쿤 ! ㅇㅇ(118.235) 03.19 13 0
847239 일반 동성애와 반기독교 정신병 걸린 공산 빨갱이 냠냠쿤 ! ㅇㅇ(118.235) 03.19 12 0
847238 일반 동성애와 반기독교 정신병 걸린 공산 빨갱이 냠냠쿤 ! ㅇㅇ(118.235) 03.19 15 0
847237 일반 동성애와 반기독교 정신병 걸린 공산 빨갱이 냠냠쿤 ! ㅇㅇ(118.235) 03.19 11 0
847236 일반 동성애와 반기독교 정신병 걸린 공산 빨갱이 냠냠쿤 ! ㅇㅇ(118.235) 03.19 12 0
847226 일반 제정신 아니고 완전히 골 빈 것들 = 개독 냠냠꾼(77.111) 03.19 21 0
847225 일반 나사하나빠지거나 골빈애들이 우파, 미뽕하지 ㅇㅇ갤로그로 이동합니다. 03.19 21 0
847224 일반 사회생활 상급, 높은 사람일수록 좌파가 주류같은데 ㅇㅇ갤로그로 이동합니다. 03.19 27 0
847223 일반 이성계, 아이유 = 짱꼴라 냠냠꾼(77.111) 03.19 19 0
847221 일반 병신! 푸탄이 협상을 왜 해 냠냠꾼(77.111) 03.19 30 0
847219 일반 똥국간첩 시타 ← 113에 간첩 신고 ㄱㄱㄱ 냠냠꾼(77.111) 03.19 11 0
847218 일반 똥국간첩 시타 개씨발년 또 가짜뉴스 루머 퍼트리네 냠냠꾼(77.111) 03.19 24 0
847217 일반 하리코프 fab 대규모 공습 ㅇㅇ(211.234) 03.19 38 0
847216 일반 러시아 하리코프 공습 ㅇㅇ(211.234) 03.19 41 0
847214 일반 중국차, 남미·아프리카서 판매 급가속 [1] 시타갤로그로 이동합니다. 03.19 42 0
847213 일반 미국은 돈만 있으면 되는 나라 아니냐? ㅇㅇ갤로그로 이동합니다. 03.19 26 0
847212 일반 조선족 택시기사 "그럼 120만 조선족중에 나쁜사람 한명도 없나?" 러갤러(121.133) 03.19 32 0
뉴스 르세라핌, ‘핫’하게 스며들다 디시트렌드 14:00
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2