갤러리 이슈박스, 최근방문 갤러리
연관 갤러리
클래시 로얄 갤러리 타 갤러리(0)
이 갤러리가 연관 갤러리로 추가한 갤러리
0/0
타 갤러리 클래시 로얄 갤러리(0)
이 갤러리를 연관 갤러리로 추가한 갤러리
0/0
개념글 리스트
1/3
- (일본)진상부리다 출입금지당한 한국인관광객들 미와경부2
- 삐라 20만장 살포.."전쟁 날라" 불안한 접경지역 주민들 정치마갤용계정
- ㄷㄷㄷㄷ 채상병 사건도 여군이었다? 123번뇌왕2
- 가슴 큰 게 너무 싫었다는 일본 여자...jpg 설윤아기
- 낭만의 시대..그 시절 범죄자 와꾸수준..JPG 환송대
- 싱글벙글 모닝지구촌 0607 모닝지구촌
- AV배우씹덕 최근 덕질한 굿즈 인증 ㅇㅇ
- 이 세상은 시뮬레이션이다...JPG 포흐애액
- 여성전용 사우나의 비밀 ㄷㄷㄷ ㅇㅇ
- 오늘자) 유튜버 빅페이스가 살펴본, 연돈 최신 근황.jpg ㅇㅇ
- 일본) 관광으로 덜 유명한 일본의 현들 소개 #2 시코쿠 진소담
- 중국 세계최초 야스로봇 상용화 할 기세 GoldenTiger
- 일본일본 콜라촌 고이즈미_준이
- 싱글벙글 요즘 탑골공원 근처 분위기...jpg ddd
- 욱일기 최신 근황 조선인의안락사
레오폴드 SITUATIONAL AWARENESS 요약
전문 읽어보니 흥미로운 내용이 많은대 특갤에 대충 번역기 돌린것만 돌아다녀서 내용 압축 요약해봄출시 당시 얀르쿤을 포함한 AI 업계인들에게 충격을 준 GPT-2의 성능문장에서 it이 무엇을 뜻하는지 이해하는 수준이었다 지금으로썬 하찮지만그마저 성공한 몇 케이스만 나열한 수준이 저정도였다 그리고 GPT-4는 오류가 있을지언정 미적분과 코딩을 건드리는 수준이 되었다GPT-2와 비교가 실례일 정도의 격차다 마치 유아와 고딩 수준의 격차다그리고 이 부분이 이 글의 핵심이다1. GPT-2와 GPT-4의 격차는 유아와 고등학생 차이2. 그렇다면 둘 만큼의 격차를 한번더 벌리면 AGI가 나올수 있다!그렇다면 GPT-2와 GPT-4의 격차는 대충 얼마만큼 인걸까?일단 학습에 사용된 컴퓨팅 양을 비교하면 대략 3000~10000배 정도 차이가 있다고 한다그럼 AGI는 컴퓨팅 파워를 대충 10000배 늘리면 가능 할까?여기서 눈물나는 소식이다 컴퓨팅 파워의 상승은 느려지고 있다처음엔 단순히 주변에 널려있는 칩을 끌어다가 서버로 만들고 한계에 봉착하자지금은 GPU 성능 올리겠다고 BF8로 정확도 내리고 트렌스포머 전용 칩설계 하고가지각색의 화려한 칩설계 똥꼬쇼로 비약적 성능 향상을 이루워 냈지만점점 최적화로 인한 성능 향상에 한계가 오고있다물론 매년 칩 성능은 향상되지만 과거 수년 만큼의 향상을 기대하기 어려워지고 있다는뜻이다 그렇다면 싹다 노동시켜야 하는걸까? 얀르쿤은 신인걸까?위 첨부 사진은 세가지 이미지 처리 모델들의 같은 성능대비 컴퓨팅 비용을 보여준다놀랍게도 10년동안 꾸준히 컴퓨팅 효율이 2년 마다 100배 가까이 늘었다!즉 단순 하드웨어 성능이 아닌 알고리즘의 향상으로 인한 실질적 컴퓨팅 (Effective computing)은계속해서 늘어나고 있다하지만 방금 자료는 이미지 구분 AI지 우리가 관심있는 LLM이 아니다그리고 현재 LLM 훈련의 세부사항은 기밀이기 때문에 우리는 알수없다대신 간접적인 예측은 할수있다위 표는 MATH 벤치마크에서 50% 성능을 내기위해 필요한 추론비용이다이 부분에서도 대략 2년마다 100배 이상 싸지는걸 볼수있다물론 이걸 훈련비용과 연관짓는건 비약이라고 할수있겠지만내부자가 아닌 특붕이들은 이걸로 만족하자컴퓨팅 파워 향상 + 알고리즘 향상을 겹쳐보면둘의 완벽한 상호보완 을 볼수있다 이정도면 충분한걸까?아쉽게도 그렇지만은 않다 GPT-4 또한 알고리즘 향상의 수혜를 입었으니GPT-2 와 GPT-4 의 격차가 최대 100만배 로 뛰어버렸다...다만 이건 너무 비관적으로 본거고 본문에선 대충 중간값인 10만배 차이로 가정한다그러나 여기서 우리의 마지막 희망이 등장하니본문에선 Unhobbling 이라고 표현했는데대충 우리에게 익숙한RLHF, 프롬프트(Chain of Thought 등), Context length, 그리고 요즘 최고 떡밥인 Agent 등을 통칭하는거다이미 닳고 닳은 특붕이들은 이게 뭐 싶을지도 모르나 이게 생각보다 훨씬 중요하다는게 저자의 입장이다RLHF (대충 인간이 내린 체점으로 학습시키기) 가 없었으면 chatgpt는 존재할수없었고단순 벤치마크만 봐도 Chain of Thought 프롬프트로 10배의 성능향상 = 10배 실질적 컴퓨팅 향상 을 보여줬고Context length의 중요성은 특붕이라면 잘알태고Agent 이 새끼는 사실상 GPT-5 떡밥의 절반 이상이다이 부분은 컴퓨팅 파워 향상과 알고리즘 향상에 비해 불연속적이고 예측이 어렵다따라서 예측또한 매우 불확실하다 당장 내일 이걸로 인공지능 성능이 미쳐날뛸수도 있고특붕이들 말라죽일때까지 특레발만 떨수도 있다 하지만 확실한건 이것으로 인한 성능 향상은 필연적이고 불가피하다는것이다이 모든 요소를 종합한 예측치 즉 GPT-4로 부터 10만배의 실질적 컴퓨팅을 쏟아부은AI가 탄생하는 시점이 2027년일 확률이 매우 높아 보인다는게 이 글의 핵심이다다른거 다 볼 필요없고 "규모"에만 집중해서 GPT-2와 GPT-4의 "규모" 즉 10만배의 (5OOMs)을 내는 시기가 2027년 이라는 것이다!그리고 사실 This decade 즉 늦어도 2030년 즈음 까지 AGI가 오지 않으면AGI 꿈은 당분간 혹은 오랫도록 날아갈 (bust) 거라는게 저자의 예측이다왜냐하면 미친듯이 늘어나는 투자비용의 한계하드웨어 향상의 한계 그리고 알고리즘의 한계를 가만하면지수적인 실질적 컴퓨팅의 상승도 거기까지가 한계이기 때문다르게 말하자면 GPT-4와 AGI가 실질적 컴퓨팅 10만배 차이 이상이면특붕이들의 멸망인것이고 그 이하면 늦어도 6년안에 AGI님이 오시는거다요약1. GPT-2와 GPT-4의 "실질적 컴퓨팅" 차이는 대략 10만배2. 여려요소를 종합해보면 2027년에 GPT-4의 10만배 "실질적 컴퓨팅" 때려박은 AI 나옴3. 그게 AGI면 특붕이 성불 아니면 싹다 노동시켜https://situational-awareness.ai/from-gpt-4-to-agi/ I. From GPT-4 to AGI: Counting the OOMs - SITUATIONAL AWARENESS AGI by 2027 is strikingly plausible. GPT-2 to GPT-4 took us from ~preschooler to ~smart high-schooler abilities in 4 years. Tracing trendlines in compute (~0.5 orders of magnitude or OOMs/year), algorithmic efficiencies (~0.5 OOMs/year), and “unhobbling” gains (from chatbot to agent), we should expect another preschooler-to-high-schooler-sized qualitative jump by 2027. Look. The models, they justsituational-awareness.ai
작성자 : 다이아몬드핸드고정닉
싱글벙글 낭만의 시대 미국의 서부개척을 알아보자
Lost Saga 로스트사가 서부마을 BGM - Wild West하세기youtu.be서부 황무지(the wild west)로 미국이 영토를 확장하던 시기 서부개척시대 그 전에 배경을 짧게 알필요가 있다. https://youtu.be/SyxmlJHdInc?si=STfS44gRUwB12duZ미국은 영국으로부터 독립하여 영토확장에 눈치볼 사람이 없어졌으며 나폴레옹이 루이지애나 지역을 미국에 헐값에 모두 넘겨버려 (가운데 초록지역) 서부지역에 대한 활로가 모두 열린상태였다. (서부개척 전 실제사진) 하지만 서부지역은 문명이 없는 황폐화 그 자체였다. 게다가 인디언들이 존나 벼르고있음 ㄷㄷㄷ 그래서 서부지역을 개발하려면 살사람이 있어야되는데, 아무도 안감.... 서부개척을 위해 링컨은 한 법안을 발동시키는데..... 홈스테드 법 - 서부 미개발토지 20만평 무상제공 - 조건: 서부에 집짓고 5년 살아야됨. 미국은 이 법안을 대대적으로 홍보하기 시작한다. 서부에가서 살기만하면 하루종일 똥글이나 싸던 싱붕이도 20만평의 땅주인이 될수있었다. 이 법안으로 인해 앰창인생, 범죄자, 군인 출신 등등 동부에서 상대적으로 성공하지못한 사람들은 서부로 향한다. 게다가 대륙횡단철도 법안을 통해 점점 더 확장될것이 분명해졌다. 지금으로따지면 내집앞에 GTX 놓아준다는것........! 망설일 필요가 없었다. 그들은 짐을싸고 서부로 출발한다. 당시에 이동수단은 당연히 마차였다. 이거 타고 서부까지 가려면 1년걸림 ㅠㅠ 마차 천장에 천을 씌워 숙소의 역할까지 했다고한다. TMI) 우리나라에선 여기서 이름을 얻어 야타이 -> 포장마차로 명칭이 바뀐다. 마차에 포장을 했다 = 포장 마차 아무튼.. 각자 모여 서부에 마을을 형성하게되는데... 그 넓은 땅덩어리에 전부 퍼져살았기때문에 치안이 개좆병신이었다. 치안의 부재때문에 살인 약탈을 일삼는 무법자들이 등장하기 시작한다. 이들은 무리를 지어 마을을 통째로 학살할때도 있었다. 그렇게 마을마다 보안관이 생겨난다. 마을이 형성되면, 법질서를 위해 보안관을 두었다고한다. 그래서 무법자들도 섣불리 마을을 못건드리게된다. 하지만 이런 시스템이 있음에도 요리조리 미꾸라지마냥 살인,약탈을 하며 무법자가 활개치는 경우가 있었는데 걱정하지마세요! 특정 범죄자가 크게 활개치기 시작하면 국가에서 연방보안관을 파견한다. 이들은 실전경험, 전장경험, 살인경험 넘사벽인 군인들로 구성되었다. 말이 연방보안관이지. 사실상 살인귀임 얼마나 경험이 풍부했냐고?? 당시 미국은 남북전쟁으로 인해 참전용사들이 개많았음 그중에서 날고기는 사람들이 연방보안관에 뽑혔겠지.. 하지만 땅덩어리가 워낙 커야지... 보안관 / 연방보안관으로도 전역을 커버할수가 없었다. 그래서 이용했던게 현상금시스템이다. 국가에서는 현상금 사냥꾼들을 고용해서 범죄자들을 추적시켰다. 용역회사 핑커튼 이로인해 커지게 된 대표적인 회사가 핑커튼이 있다. (남북전쟁 참전용사들로 대거 구성) 개인으로 현상금사냥꾼을 하는 사람도있었지만 핑커튼은 회사로 움직이다보니 압도적인 정보망 + 압도적인 지원으로 범죄자들을 다 썰고 다녔다고한다. 범죄자들이 핑커튼 이름만 들어도 오줌을 쌌다고... 미국에서는 간간히 빅 이벤트가 발생했는데 그 중 하나는 소고기 가격 폭등이다. 남북전쟁이후 동부에서는 소고기 가격이 폭등하게되는데 서부에서 동부로 소 가져다가 팔면 10배 수익..! 소만 데려가면 손쉽게 텐베거...?????????? 경험치 10배 이벤트? "자 드가자" 서부사람들은 큰 꿈을 안고 소들을 동부로 가져다 팔기 시작했다. 근데 무법자들이 가만히 있을까? 당연히 무법자새끼들이 날로처먹으려고 길목에서 가만히 부랄 벅벅긁다가 소떼 포착해서 약탈해가는 상황이 발생한다. 그렇게 소떼를 지키기위해 고용되기 시작한것이 카우보이다. 하지만 약탈의 빈도가 그렇게 많지는 않아 카우보이의 급여는 짜게 측정되었다고한다. 그들은 급여만으로 생활이 불가능하자 무법자로 투잡을 뛰는 경우도 많았다고한다. 창조경제 ㅍㅌㅊ? 요런 과정을 수없이 겪으면서 결국 미국은 전역을 개척하는데 성공한다. 각 지역마다 미국의 문화적뿌리가 형성되며 미국경찰의 현대화 + 경찰규모 권한이 늘어나면서 이로써 서부개척시대가 마무리된다 -끝-
작성자 : 설국고정닉
차단하기
설정을 통해 게시물을 걸러서 볼 수 있습니다.
댓글 영역
획득법
① NFT 발행
작성한 게시물을 NFT로 발행하면 일주일 동안 사용할 수 있습니다. (최초 1회)
② NFT 구매
다른 이용자의 NFT를 구매하면 한 달 동안 사용할 수 있습니다. (구매 시마다 갱신)
사용법
디시콘에서지갑연결시 바로 사용 가능합니다.