다른 AI모델들도있지만
Chatgpt기준으로 설명함

나는 chatgpt 초기부터 사용하던유저인데

GPT4도 안나오던 시절에 사용한유저임 그리고 이때부터 관심이많아져서 특갤이나 다른 ai챗이나 이런곳에가서 간간히정보도얻고그랬음
2022년 12월에 그때 처음사용했었음


일단 모델은 이때는 1개밖에없었음

GPT3.5라는모델인데 GPT3에서 발전시킨모델임

GPT3는 2020년에 신청하면 API로 사용할수있었다고함

이때는 속도가 엄청느렸음 경량화기술도없었고 아직 서버운영하기에
서버가 별로였던것도 한몫한거같음

성능은 어땟냐
일단 예전에 우리가알던 다른 챗봇들과는다르게 정말 지능이있는것처럼 다양한상황에서 답변할수있었고 chatgpt나오기이전
스토어에서나보던 예를들어 카카오톡 ai챗봇이나 이런것과는 성능 비교도안될정도로좋음 그나마 chatgpt와 비슷한챗봇이라면 이루다같은게있었는데 이루다보다 훨씬 더 다양하게 답변할수있었음 이루다는 gpt2기반이라고함

하지만 한계점도 굉장히뚜렷했음
할루네이션 즉 환각이라는현상이 문제였는데 세종대왕 맥북던진사건이 제일 유명한사건임 즉 ai가 거짓말을 엄청나게 자주하던게 문제였음
또 가끔씩 문장순서를바꿔서 답변하기도했고 그리고 복잡한질문에는 답변하지못했음 답변하더라도 거의 다틀린답변이대부분
수능문제풀어보면 국어는 공부안하고 찍기만한 수험생이랑 비슷한수준이나왔고 수학은 그냥 낙제점이었음 그나마 모델이 영어로 엄청학습되서그런지 영어는 4등급수준이었음

이건 GPT3.5모델에 한계였음 그이후에는 3.5터보가 나오면서 경량화가되서 속도가빨라졌으나 그래봐야 3.5여서 사실 gpt4에서 3.5가면 차이가너무심해서 3.5는 거의쓰지않았음 지금은 chatgpt에서는없고 api에서 사용가능함

그리고 2023년 3월에 GPT4가나옴

GPT4는 내가 지금까지 GPT모델써보면서 현재 최신GPT버전인 GPT O1프리뷰급으로 가장큰 성능체감을 느꼈던 AI모델중에하나임

GPT3.5에비해 훨씬환각이줄어들었고 훨씬 답변이 논리적이고 3.5에서는 안되던 복잡한질문에도 어느정도는 답변해줄정도로 좋아졌음
세종대왕 맥북던짐사건같은 이런거에도 속지않고 추론을 요구하는 수능문제에서도 3.5에비해 점수가 훨씬좋아졌음

국어는 cot프롬같은거 적용시키면 1등급수준이 나왔다곤하는데
이건 내가 보니까 문제유형에맞는 프롬을 각기다르게 적용시켜서 이정도나온거지 그리고 핸디캡으로 맞출때까지 시도하고 다른사람들이
푼거보니까 국어는 잘나와봐야 3등급정도였던거같음
물론 7~8등급→3등급이됐으니 엄청난발전은 맞긴함 국어를 거의이해못하는수준에서 꽤 이해할수있게 된거니까 영어는 1등급이었다고들음 영어도 발전은있었는데 만점까지는 아니라고함

수학같은경우 여전히 별로였음 물론 3.5에비해서는 확연히 잘하긴했는데 3.5가 수포자느낌이라면 4는 수포자는아니고 수학은 공부했는데 재능이없는 그런느낌?
킬러까지안가더라도 3점문제만가도 완전 엉뚱하게 접근한다던지 아직은 수학에는 여전히 많이약했었음 2점도 가끔 풀어내는수준 물론 코드인터프리터같은 계산기 탑재해서 계산문제는 해결하긴했는데 아무리 계산기 탑재하더라도
수포자가 계산기탑재한다고 수능킬러를 풀수는없듯이 그냥 별로였음

그이후에
GPT4 터보가나옴 바뀐점은 인풋토큰과 아웃풋토큰이늘어나서 답변을 더길게해주고 더 많은 텍스트넣어도 답변해준다던가 이런거였음 또 최신지식도 넣어줬고 2021년만 알고있던것과달리 더 최신년도까지
한마디로 3.5에서 4처럼 지능자체가 올라갔다기보다는 더효율적으로 작동하도록 경량화에 초점을 맞췄음 물론 엄연히 토큰이늘어난거니
더긴문맥도 답변할수있게된거니 좋아진거라고도 볼수있지만
지능자체가 상승한건아님

그리고 처음써봤을때 체감은 솔직히 큰차이없었음

그이후에 터보 1106부터 0125도나오면서 꾸준히 나왔으나 성능적으로는 느끼는체감은 크게없었음 벤치에서는 조금씩 올라가긴했지만
그러다가 GPT4의 마지막버전인
GPT4 0409가나옴 이게 수학부분에서 벤치로만봐도 크게개선된 버전이었는데 딱 속는셈치고 수능수학문제던졌줬다니 처음으로
GPT4기반모델에서 성능차이를 확실하게 느꼈음

예전처럼 엉뚱하게 접근하던것과달리 2점문제도 어느정도 풀어내고 3점도 몇개풀어냈음 내가직접비교해봤는데도 차이가 확실했음
물론 이건 말그대로 구버전GPT4에 비해서인거지
여전히 수학은 별로였음 특히 4점만가면 엉뚱하게 접근하는건 똑같았음 GPT4보다는 재능이 더높지만 여전히 수학재능은 없는 느낌이었음

그리고 GPT4O가출시됨
이때 also gpt2라고 lmsys아레나에서 사용할수있었는데 압도적으로 벤치1위함 알고보니 Also gpt2가 gpt4o였음

GPT4O는 경량화됐지만 성능이 더좋아졌다는 모델인데
써보니까 GPT4 0409보다 더좋아진게 느껴졌음

먼저 가장체감이큰건 코딩 코딩도 확실히 더잘하졌고
무엇보다 기존 gpt4 0409같은경우 코드길이가 200~300줄이넘어감녀 제대로 해석하지못했는데 4o의경우는 코드가길어져도 상당히 해석을 잘했음 또 0409같은경우 코드길이도 300줄정도되면 전체코드로 제공해당라해도 300줄을 모두안짜고 일부분만 제공했는데 4o는 300줄을넘어서500줄넘는코드도 전체코드로 작성했음 한마디로 코딩에서 모든부분에서 업글됐음

수학같은경우 0409보다도 벤치적으로는 더좋아졌는데 막상 수능수학풀고 비교해보니 유의미한 차이는없었음 실사용에서는 큰체감없었음

그리고 무엇보다 웬만한질문에도 답변을 엄청길게해줌 확실히좋아졌음
그리고 한국어토큰효율도 개선되서 영어로쓸때랑 토큰차이가 거의없어졌음 또 멀티모달도 아주획기적으로 좋아졌는데 특히 다국어인식률이 엄청나게올라갔음 예전에는 한국어나 복잡한 사물을 인식하지못했는데
지금은 한국어도 잘인식하고 전반적으로 모든면에서 성능한모델임

4o는 지금까지 gpt써보면서 전모델과 성능체감으로는 3위임

그리고 4o mini도나왔는데 현재 무료버전에서 gpt3.5대체한모델임
4o가 전 모델에비해서 경량화도하면서 성능은 더개선시킨버전이라면
Mini는 그것보다도 더 경량화되서 성능은 깎은버전임 속도는 엄청빠름

성능은 벤치를 여러곳에서보고 전버전 0409와비교해보니
수학빼고는 다른벤치에서 0409보다 떨어짐 오히려 mmlu점수는 gpt4 초기버전보다 떨어져서 사실상 gpt3.85정도로 보는게편함 애초에
무료로 나온용이고 오직 초경량화에만 집중한버전이니
성능은 기대하면안됨 차이확연함 3.5보다는 좋지만 4보다는 안좋은 딱 그사이모델인데 4에 좀더가까운 모델정도라고 생각하면됨


그리고 4o나온이후에 거의 4달동안 소식없다가
Gpt O1프리뷰,o1 mini가나옴 물론 그이전에 스트로베리부터 오리온부터 다양한게 돌긴했었는데 막상 실사용한사람들은 오픈ai내부직원이나 일부 소수밖에없었음

O1,o1 mini가 벤치로 압도적으로 1위찍음 벤치에서
박사과정 학생과 비슷할수준이라고 할정도로 성능이 엄청나게올라감
물론 지금 o1은 프리뷰고 프리뷰는 정식보다 성능이 다운된버전
10월에 정식버전 출시한다고함 o1미니는 나중에 무료로
풀릴예정이라고하는데 성능은 복잡한추론에서 확연히차이남
특히 실사용후기만봐도 코딩에서 o1과 차이가크다고하더라
환각은 당연히 더낮아졌음 애초에 4o에서도 환각은 더좋아져있었고
오픈ai는 이모델이 ai가 최초로 추론하는 모델이라고하더라

수학,과학에 아주좋아진버전인데
가장 차이가큰게
수학임

수학은 예전에는 접근도못하던 문제도 풀이과정까지 완벽하게 풀어내고
그풀어내는수준이 2점 문제가아니라 4점 무려 킬러급도풀어냄 예전 gpt4o는 4점은 거의불가능했고 맞춰도 풀이과정이 대부분틀렸었음
3점도 꽤애먹었는데 지금은 3점은 다풀어내는수준이고 4점들도 풀어낼정도라고함
물론 완벽하게 모든 수능수학을 풀어내는건아니지만 수능수학도 확통기준으로 2등급이라고함 그것도 1등급에가까운 2등급

즉 수학으로는 거의 한국에있는 대부분 학생들을 넘어섰음

국어도 마찬가지로 1등급찍었다고함 만점이 가능한지는 테스트후기가없어서 모르겠음
애초에 지금 o1미니는 하루제한이지만 o1프리뷰는 일주일제한임
올라온글들 몇개보면 회계사문제나 행정고시문제부터
예전에 못풀던 국어킬러까지 잘풀어낸다고하더라

내가봤을때 국어는 최소2등급~1등급인거같음 영어는 만점가능할거같음

거기에다 코드포스테스트에서도 코딩도 어마어마하게올랐다고했고 수학올림피아드문제도 꽤풀어낼정도라고함 또 o1은 아주 복잡한 한국어 암호도 풀어낸다고함 수학 과학만그런게아닌 법학적 시험 lsat에서도
69.5→95.%로 어마어마하게 상승했음

그냥 전모델에비해서 훨씬좋아졌고 몇몇애들은 3.5→4보다 더큰변화라고 할정도라더라

즉 모든부분에서 엄청나게 상승했음

그이후에나오는건 아까위에서 말했듯이 o1정식버전+멀티모달지원

그이후에나오는게 오리온이라는 o1에서 훨씬더 개선시킨
GPT5라는건데

Ai발전속도 엄청나다