갤러리 이슈박스, 최근방문 갤러리
연관 갤러리
남자 연예인 갤러리 타 갤러리(0)
이 갤러리가 연관 갤러리로 추가한 갤러리
0/0
타 갤러리 남자 연예인 갤러리(0)
이 갤러리를 연관 갤러리로 추가한 갤러리
0/0
개념글 리스트
1/3
- 스압) 리제 피규어 만들어 봄 ㅇㅇ
- 송은이와 김숙이 직접 기획한 연프 이건 재밌어 보임ㅋㅋㅋㅋ ㅇㅇ
- 싱글벙글 서양이 동양보다 잘살게 된 시점 ㅇㅇ
- "예?" 순간 귀를 의심했다…밥 먹다가 들은 '충격 발언' 마스널
- 김용현이 진술할수록 불리해지는 尹... '방패 뚫는 창' ㅇㅇ
- 싱글벙글 구해줘홈즈에 나온 90억짜리 한강뷰 아파트 ㅇㅇ
- 싱글방글 창문이 초록색인 이유 썅년
- 움짤) 돌풍시절 구마는 잘했다? 팩트를 보여 줄게 T갤러
- 방금 올라온 샘 알트만 딥시크 관련 트윗 번역 ㅇㅇ
- 싱글벙글 우리나라 국회가 가진 세계기록 ㅇㅇ
- 민주당 너네 노무현 정신 무시하지 마라 ㅇㅇ
- 영양제 효과 없다는 저속노화 교수님 ㅇㅇ
- [망한머리 구조대 미용실형] 개념글 가성비 끝판왕 2만원 짜리 다운펌 미용실형
- 중국만물설에 편입됐네 조앤몬
- 야심한 새벽 싱갤에 쓰는 식자재 배달 알바 후기(가독성 씹창 주의) ㅇㅇ
싱글벙글 미국주식이 지금 멸망중인 이유...txt
- 관련게시물 : '최신칩 없어도 되네?'…엔비디아 시총 847조원 증발짱깨가 만든 AI 딥시크가 어제 공개 단돈 80억으로 개발 그래픽카드도 좆좆구형 사용 근데 이딴 개발비용으로 수조원이 들어간 GPT와 비스무리한 성능을 보여줌 여기에 맨날 오픈AI라고 떠들던 미국 실리콘밸리 놈들과 다르게 이새끼들은 진짜로 소스를 깃허브에 다 까버림 당연히 사람들은 챗지피티의 1%도 안되는 돈을 쓰고 비스무리한 성능을 뽑아내는 딥시크가 나온걸보자마자 미국 AI에 거품이 존나 껴있다는걸 느끼고 패닉셀 시작>나스닥 멸망 아직 본장은 시작도 안함ㅋㅋ 나스닥이 운지하니 코인도 덩달아 운지 - 워런 버핏 " 그래서 전 기술주를 잘 안삽니다 " - dc official App- 그와중에 이새기 ㅈㄴ웃기네ㅋㅋ- 미국 트위터 여론 근황.....jpg말 그대로 중국에게 먹힘 ㄹㅇ;;더 비참한건 중국친구들이 놀리고 선전해도 미국얘들은 반박할 거리가 없다는점임 ㄷㄷ..
작성자 : ㅇㅇ고정닉
첨단기술 경쟁에서 손가락만 빠는 러시아
미국,중국,영국의 번창하는 AI산업 글로벌 AI 신생기업수 방면에서 미국은 압도적인수를 기록했으며, 그뒤는 중국과 영국순으로 이름을 올렸다. 중국은 아시아대륙 전체보다 AI 기업이 많으며, 영국은 유럽대륙의 거의 1/3을 차지하고있다. 그에반해 IT산업이 발달하지않은 러시아는 당연히 AI기업이 존재할리가 없다. 실제로 AI역량부문에서 미,중,영이 글로벌 톱3 단순 AI기업이 많은것뿐만 아니라 질적 역량으로도 순위는 마찬가지다. 글로벌 100대 AI기업순위서 한국과 러시아는 '제로' 비단 러시아뿐만 아니라 한국도 앞으로 미래가 어두울뿐이다. 10대 기업도아닌 100대 기업에서조차 한국기업은 단 한개도 보이지않을만큼 AI산업에서 후발주자로 전락했기때문. 빅파마 기업으로 생명공학을 장악한 미국과 유럽 미국과 유럽이 제약,바이오,생명공학 산업을 장악하고있다. 당연하지만 이는 빅파마 기업들이 대부분 미국과 유럽에 몰려있기때문이다. 화이자, 존슨앤존슨, 일라이릴리, 애브비 등 미국기업들과 로슈, 노바티스, 아스트라제네카, 노보 노디스크, GSK 등 유럽기업들이 신약개발을 독점하고있는 상황.. 이런상황에서 빅파마 기업은 커녕 이름있는 제약회사 하나없는 러시아가 뭘할수있을까. 중국과 유럽이 주도하는 재생에너지 기술분야 친환경시대를 맞으면서 태양광, 풍력, 수력, 원자력, 바이오연료, 히트펌프, 스토리지 등 클린테크 기술력이 중요해지고있는데, 이러한 기술 분야에서 가장 선도국은 단연 중국이며, 그다음은 유럽, 미국순으로 이어진다. 심지어 중국과 유럽은 이미 친환경에너지의 비중이 화석연료의 비중을 추월하고있다. 참고로 세계 최대규모의 재생에너지 기업은 유럽의 베스타스다. 친환경기술은 커녕 아예 석유와 가스에 국가 경제를 의존하는 러시아가 도대체 뭘할수있겠는가? 중국과 유럽, 미국중심의 글로벌 전기차 산업 전기차산업 또한 전통적으로 자동차산업의 중심이라고 불리는 유럽과 미국 그리고 신흥 초강대국으로 부상한 중국이 주도하고있는 상황.. 2024년 4월 기준 중국 전기차가 세계 시장의 51%를 차지했으며, 유럽 전기차가 34%, 미국 전기차가 11%를 차지했다. 게다가 저들은 전기차생산 기업 브랜드 이런것만 우수한것뿐만 아니라 전기차의 사회적 보급에도 앞서있다. 예시로 노르웨이는 작년 자동차판매량 90%가 전기차였으며, EV 충전인프라 또한 선진국들만 일방적으로 매우매우 많이 깔린상황.. 마땅한 재대로된 내연기관 완성차업체도 없는 러시아가 무슨 전기차인가. 러시아에게 그런것은 사치일뿐.. 참고) 국가별 자동차 수출액 양자컴퓨터 기술에 천문학적 투자하는 거대국가들 미국,영국,유럽연합,중국 등 내노라하는 경제국가들은 모두 양자컴퓨터에 천문학적인 투자를 하고있다. 러시아는 양자컴이 어디있는가? 당장 슈퍼컴퓨터도 못만드는 상황에.. 슈퍼컴퓨터 경쟁을 펼치는 거대국가들 슈퍼컴퓨터 또한 마찬가지다. 현재 엑사스케일급의 슈퍼컴퓨터를 제조,배치한 국가는 미국, 유럽연합, 일본, 중국이 대표적이다. 그리고 슈퍼컴퓨터에 들어가는 첨단 칩을 제조할수있는곳은 대표적으로 가장 선두에 있는 미국의 엔비디아, 또다른곳은 프랑스의 아토스가 있다. 반도체산업도 없는 러시아가 슈퍼컴퓨터? 말도 안되는 꿈.. 빅테크 기업을 가진곳이 매우 유리한 첨단기술산업 그렇다. 미국이 앞으로도 첨단기술을 선도할수밖에 없는것이 사실이다. 빅테크 기업들의 대부분이 미국에 있기때문. 유럽 또한 ASML, SAP, ARM이 존재한다. 그리고 대만의 TSMC도 앞으로 더더욱 주목해야할것이다. - dc official App
작성자 : 러갤러고정닉
벤 톰슨 stratechery DeepSeek 분석
사건의 발단은 워싱턴이 2023년 중국이 7나노를 만들어내는 것을 보고 과하게 경기를 일으킨 것부터 시작된다. 2023년 9월 화웨이가 SMIC를 통해 만든 7나노가 탑재된 Mate 60 Pro를 발표했을 때, 그 칩을 자세히 들여다보면 놀라운 일은 아니었는데 말이다.이미 그로부터 1년 전, SMIC는 7나노를 만들었었고 타사들도 다 만들 수 있음에도 수율이 안나와서 안만들었을 뿐인 사건인데 말이다. 오히려 놀라웠던건 워싱턴 DC의 반응이었고 그때부터 미국은 칩 판매를 허가기반으로 바꿔버린 것이다. DeepSeek 사건도 이때와 비슷하게 흘러가고 있다.사실 이번 훈련비용 절감 관련한 사실은 R1 모델이 아니라 지난 크리스마스에 공개된 V3 논문에서 드러났었다.https://github.com/deepseek-ai/DeepSeek-V3/blob/main/DeepSeek_V3.pdf그들은 V3모델 이전의 V2에서 DeepSeekMoE, DeepSeekMLA를 소개했었는데, 이 성과가 V3에서부터 나기 시작했다.우선 DeepSeekMoE는 MoE, Mixture of Experts 전문가 혼합이라는 뜻인데 GPT-3.5 같은 모델은 훈련시든 추론시든 어떤 토큰이 모델로 들어오면 전체를 활성화시키는데 반해, MoE는 특정 주제에 맞는 전문가만 활성화시킨다. (**물론 이것이 잘 발동하려면 게이트가 토큰의 종류를 적절히 판별해 알맞는 전문가에 보내도록 해야한다. 사전학습시 Dense 모델처럼 토큰마다 모든 GPU를 사용하지 않으니 Sparse할 것이고 연산량과 GPU타임이 줄 수 밖에 없다. 하지만 최근 트렌드는 거의 모든 훈련모델들이 MoE를 사용하고 있기 때문에 이것 때문에 효율성이 특출나졌다는 것은 불가능한 이야기다.)이어서 DeepSeekMLA는 추론에서의 제한사항을 혁신해주었다. 어마어마한 양의 메모리 사용량을 줄여준 것이다. 기존에는 모델 전체를 메모리에 로드하고 긴 컨텍스트 윈도우의 토큰 모두를 Key, Value 값으로 저장해야했는데 이런식은 Key-Value 값이 기하급수적으로 늘어서 비용이 늘 수 밖에 없는 것이다. 메모리 부담도 매우 커지고. 하지만 MLA, Multi-head latent attention을 통해 key-value 저장을 압축시켜서 추론시 필요한 메모리를 크게 줄였다.여기에 V3에서 통신오버헤드를 줄이는 로드 밸런싱 방식과 훈련단계에서 여러 토큰을 동시에 예측하도록(multi-token prediction)하는 기법이 추가된 것이다. 그 결과 훈련 효율이 크게 향상되어 H800 GPU 타임이 2,788K로 전체 비용이 557.6만 달러가 나온 것이다. (**라마 훈련비용에 비해 3%)Q: 그건 아무리 봐도 너무 낮은 것 아닌가? A: 최종 훈련단계에서의 비용만 계산한 것이다. 그외 모든 비용은 제외시킨 것이다. V3 논문 자체에도 이런 표현이 명시되어 있다.- 모델구조, 알고리즘, 데이터, 사전 연구, 비교실험 등에 사용된 비용은 포함하지 않았다.즉, 이번 DeepSeek 사건을 재현하려면 3%보다 훨씬 더 큰 돈이 든다는 말이다. 하지만 "최종 훈련" 자체만 보면 그 비용은 말이 된다.Q: 알렉산드르 왕이 한 H100 5만개 이야기는 뭔가?A: 아마 그는 Dylan Patel이 2024년 11월에 한 트윗을 본 것이 아닐까 추측한다. 당시 파텔은 DeepSeek이 호퍼 5만개분을 가지고 있을 것이라는 분석을 내놓았다. 사실 H800은 H100에서 메모리 대역폭을 크게 줄인 버전이다. 중요한 점은 DeepSeek은 그 GPU간의 통신에서 제한이 걸렸기 때문에 이런 연구를 시작했고 거기서 성과를 냈다는 것이다. H800 각 칩에서 132개 프로세싱 유닛 중 20개를 통신 전담으로 할당했다는 것은 쿠다로는 불가능하다. PTX라는 저수준 GPU 명령어집합까지 내려가야만 가능한 일이다. 이정도로 미친수준의 최적화까지 집착했다는 것은 오히려 H100이 아니라 H800에서 훈련을 해내겠다는 집념을 보인 셈이다. 또 지금처럼 추론 서비스를 실제 제공하고 있으려면 상당량의 GPU가 확보되어야만 가능한 일이다. 어마어마한 양의 GPU가 필요하다.(**아마 호퍼 5만개 이상은 확보했을 것이라는 추측이며 최근 일론 머스크도 여기에 동의했다.)Q: 그럼 칩 규제 위반 아닌가?A: 아니다. H100은 막았어도 H800은 막지 않았기 때문이다. 다들 프론티어 모델을 개발하려면 칩간 대역폭이 중요할 것이라 추측했는데 DeepSeek은 그 한계를 극복하도록 모델 구조와 인프라를 최적화시킨 셈이다. 만약 H100 수출규제가 없었다면 더 쉽게 클러스터를 구축하고 모델을 만들어냈을 것이다.Q: 그럼 V3가 (base에서의) 프론티어 모델이란 말인가?A: 적어도 4o, Sonnet-3.5 와 비빌 수준임은 확실해보이고 라마보다는 훨씬 더 위다. 다만 DeepSeek은 4o, 소넷을 디스틸(distill)해서 훈련용 토큰을 만들어냈을 확률이 아주 높아보인다.Q: 디스틸레이션(distillation)이 뭔가?A: 디스틸레이션은 다른 모델의 이해를 추출하는 방법이다. 선생 모델에서 다양한 입력을 넣고 만들어진 출력으로 학생 모델의 학습에 사용시키는 것이다. 각 연구소들은 이런 디스틸레이션을 명백히 금지하고 있다. 하지만 매우 흔하게, DeepSeek 외에도 수많은 곳에서 다들 하고 있다. 때문에 4o, 소넷급 모델들이 계속해서 나오고 있는 것이다. 솔직히 안했을리가 없다고 생각될 정도로 흔한 방법이다.Q: 그럼 1등 모델들은 불리한 것 아닌가?A: 맞다. 앞서가는 연구소들은 가장자리를 넓히는데에 이런 방식은 사용할 수 없다. 대신에 자사 모델 최적화에는 사용할 수 있는 정도다. 부정적인 면은, 이런식으로 디스틸하게 되면 타 연구소들이 계속해서 무임승차하는 것이 가능해진다는 이야기다. 최첨단 모델을 개발하는데 드는 비용은 오직 프론티어 랩들만이 떠안게 된다. 그 결과, 리딩 엣지(leading edge) 모델들에 어마어마한 돈이 들어서 개발되어도, 금방 디스틸레이션으로 카피해서 들어간 돈이 회수가 어렵게 되는 것이다. 곧바로 상품화되고 흔해지니까 말이다. 바로 이 점이 마이크로소프트와 OpenAI가 점점 더 결별하는 방향으로 나아가는 이유인 것 같다. 1천억 달러를 들여서 최신 모델을 개발해봐야, 금방 감가상각되어 흔해지면 돈을 회수할 수가 없다.Q: 이런 이유로 빅테크 주가가 떨어지고 있는 것인가?A: 장기적으로보면 추론비용이 싸지는 것은 마이크로소프트 같은 기업에 유리하다. 그들은 서비스 제공업자이기 때문이다. 아마존 역시 AWS 때문에 수혜자다.이번 사건으로 가장 큰 수혜를 보는 곳 중 하나는 애플이다. 메모리 요구량이 급격하게 줄면 애플 실리콘 같은 엣지 디바이스에서 추론이 실현 가능해지기 때문이다. 애플은 CPU, GPU, NPU가 모두 통합된 메모리를 공유한다. 즉, 애플의 고사양 칩이 곧바로 소비자용 추론 칩이 될 수 있다.엔1비디아의 게이밍 GPU VRAM은 32GB가 최대치지만 애플의 경우 128GB의 램을 사용할 수 있다.메타도 수혜자다. 그들의 비전에서 가장 큰 걸림돌이 추론 비용이었는데 이게 사전훈련 비용과 마찬가지로 매우 싸진다면 그들의 비전 역시 더욱 실현가능해질 것이다.다만 구글의 경우는 악재다. 하드웨어 요구량이 줄어들기 때문에 그들의 TPU로 누려왔던 이점이 줄어들고 추론비용이 제로에 가까워질수록 새로운 검색서비스 등이 나타나기 때문이다. 물론 구글도 자체비용을 줄일 순 있겠지만 잃는 것이 더 크다.Q: 그럼 왜 주가가 떨어지나A: 내가 말한 건 장기적 비전이고 현재는 R1으로 인한 충격이 수습되기 전이다.Q: R1은 어떤가A: R1은 추론형 모델이다. 이는 openai의 o1 신화를 두 가지 면에서 무너뜨린다. 첫째 존재 자체다. 추론에 오픈ai만의 특별한 비법이 없다는 것이다. 둘째, 가중치를 공개해버렸다는 것이다. 물론 데이터는 숨겼기 때문에 오픈소스라 일컫는 것은 무리가 있지만 말이다. 이제 굳이 OpenAI에 돈을 내지 않고도 원하는 서버나 로컬환경에서 추론모델을 돌릴 수 있게 되었다.사실 deepseek은 이번에 R1과 R1zero를 함께 공개했는데 후자가 더 중요하다고 본다.R1-zero는 인간의 피드백을 완전히 빼버렸다. 순수 RL(강화학습)이다. 이 모델에 문제를 잔뜩 주고 올바른 답을 내면 보상을 주고, 체계적인 사고과정을 보여주면 또 보상을 주는 방식으로 만들었다. 마치 알파고가 이기면 보상을 주는 보상함수를 만들었더니 모델 스스로 인간이 가르치지 않은 방식대로 서로 학습시킨 것 처럼 말이다.이를 보면 The bitter Lesson이 다시 한번 입증된 것 같다. 추론하는 방법을 일일히 가르치는 것이 아니라 충분한 연산자원과 데이터만 주면 알아서 학습한다는 것이다. Q: 그럼 결국 우린 AGI에 더 가까워진 것인가?A: 그렇게 보인다. 소프트뱅크의 마사요시가 왜 마이크로소프트가 아닌 OpenAI에 돈을 댄 것인지도 설명이 된다. 1등에 서면 엄청난 수익이 돌아올 것이라는 믿음이 있는 것이다. (** 곧 모델이 알아서 똑똑해지기 시작할 것이기 때문)Q: 그럼 R1이 선두에 선 것인가?A: 그렇다고 보긴 어렵다. 여러 정황 상 R1은 o1-pro를 디스틸레이션한 것으로 보인다. OpenAI는 이미 o3를 선보였다. DeepSeek은 확실히 효율성에서 선두를 차지했지만 그게 최고의 모델이라는 의미는 아니다.(** 뿐만 아니라 o1-mini도 R1 671B 디스틸에 사용된 정황으로 보이는 케이스도 속속 드러났다. https://x.com/JJitsev/status/1883158764863537336)Q: 그럼 왜 이렇게 다들 호들갑인건가?A: 세 가지 요인 때문이다. 1. 중국은 미국보다 많이 뒤쳐져있다 는 인식이 틀렸기 때문에 사람들이 충격받는 것이다. 중국의 소프트웨어 역량은 매우 높은 수준임이 드러났다.2. V3의 낮은 훈련비용, R1의 낮은 추론 비용 때문이다. 계산상으로는 가능한 수치였기 때문에 NVDA에 대한 우려가 커진 것이다.3. DeepSeek이 칩 규제라는 벽을 뚫고 이 성과를 이뤄냈기 때문이다. 현재까지는 어쨌든 합법적으로 구한 H800으로 훈련한 것으로 보이긴 하지만 허점이 많다.Q: 난 NVDA 갖고 있는데 망한건가?A: NVDA 해자가 2개 있었다.1. 쿠다2. 여러 GPU를 하나로 묶어 가상의 거대한 GPU로 만들어내는 기술 - 이 능력은 그 회사만의 독보적인 영역이었다.이 둘은 서로를 더욱 강화시켜주는 것이었는데 약한 하드웨어와 낮은 대역폭으로도 극단적인 최적화가 가능하다는 것이 증명되었기 때문에 NVDA는 새로운 스토리들이 더 필요하게 되었다.다만 아직 유리한 점이 3가지 있다.1. DeepSeek의 접근방식을 오히려 H100이나 GB100 같은 최신식 칩에 사용하게 된다면 얼마나 더 강력해질까? 더 효율적인 컴퓨팅이 가능해진다 하더라도 더 많은 컴퓨팅은 여전히 유효하다.2. 추론 비용이 낮아지면 -> 오히려 모델 사용량이 더 늘어나는 측면이 있다.(** 사티아 나델라는 간밤에 제본스의 역설을 언급하며 AI가 점점 더 싸지고 접근가능성이 높아진다면 사용량이 더 크게 오를 것이라고 언질을 주었다.)(** 제본스의 역설이란 단일 비용이 A에서 B로 싸진다면 사용량이 C에서 D로 늘어나기 때문에 전체 사용량은 오히려 늘어남을 지적하는 것이다.)3. R1이나 o1같은 추론모델들은 더 많은 컴퓨팅을 사용할수록 더 똑똑해진다. 인공지능의 성능을 높이는 방법이 여전히 컴퓨팅에 달려있다면 여전히 NVDA가 수혜를 볼 가능성이 있다.하지만 장밋빛 전망만 있는 것은 아니다.DeepSeek의 효율성과 오픈웨이트로 인한 광범위한 공개는 NVDA의 단기적인 낙관적 성공스토리에 물음표를 달아버렸다.특히. 추론단계에서는 NVDA 칩 외에도 다른 대안 시나리오가 작동하기 시작했다.예를 들어 AMD 칩 하나로도 추론이 가능해진다면 칩간 대역폭이 낮다는 AMD 측의 단점을 상쇄할 수 있게 된다.추론 전용칩이 각광을 받을 수도 있다.요약하자면 NVDA가 사라지진 않을 것이다. 다만 지금까지 고려되지 않았던 불확실성에 노출되었고 이는 하방압력을 키울 수 밖에 없다.Q: 칩 규제는 어떻게 되는건가?A: 칩규제가 더 중요해졌다고 주장할 수도 있겠지만. 2023년의 백악관의 규제가 DeepSeek을 부추긴 것이라고도 볼 수 있기 때문에 단기적으로는 효과가 있더라도 장기적으로는 의문이다.Q: 그럼 왜 중국은 오픈소스를 하는건가?A: 중국이 아니라 DeepSeek이 그렇게 하는거다. CEO 량원펑은 오픈소스야말로 인재를 끌어들이는 핵심이라고 언급했다. Q: 그럼 OpenAI는 망한건가?A: 그렇다고 볼 순 없다. 결국은 AI Take-off에 가장 먼저 도달한 자가 승리한다. 반면 이번 주말의 가장 큰 패배자는 앤트로픽이다. DeepSeek이 앱스토어 1위를 차지하기까지 샌프란시스코 지역 외에서 클로드는 주목조차 끌지 못했다. API가 그나마 잘돌아간다고 어필하지만, DeepSeek 같은 방식대로 디스틸로 프론티어모델이 흔하게 퍼져버리면 가장 먼저 무너지는 쪽이 이 API 비즈니스다. 돈주고 API 쓰느니 성능이 비슷하다면 DeepSeek 같은 오픈웨이트 모델을 쓰기 때문이다.결국 가장 큰 수혜자는 소비자와 기업들이다. 이런 미래는 사실상 무료에 가까운 AI 제품과 서비스를 누릴 수 있게 될 것이기 때문이다. 중국은 이제 자신감이 점점 더 커질 것이다.미국은 선택의 기로에 놓여있다. 더 강경하게 나아갈 것인가, 아니면 더 큰 혁신으로 나아갈 것인가. 연구소들이 이제 로비에 신경쓰지 않고 혁신에만 집중하게된다면, 우린 DeepSeek에게 감사하게 될지도 모른다.
작성자 : KurisuMakise고정닉
차단하기
설정을 통해 게시물을 걸러서 볼 수 있습니다.
댓글 영역
획득법
① NFT 발행
작성한 게시물을 NFT로 발행하면 일주일 동안 사용할 수 있습니다. (최초 1회)
② NFT 구매
다른 이용자의 NFT를 구매하면 한 달 동안 사용할 수 있습니다. (구매 시마다 갱신)
사용법
디시콘에서지갑연결시 바로 사용 가능합니다.