MS는 10만개가 넘는 H100을 연결해 GPT-6 학습 중

1/1

컴린이 반본체 조립하는데 좆됐어요 안들어가요360mm까지 호환이라면서씨발 작성자 : ㅇㅇ

MS는 10만개가 넘는 H100을 연결해 GPT-6 학습 중모바일에서 작성

ㅇㅇ(45.87) 2024.03.29 01:11:15

조회 45 추천 0 댓글 0

7cea8177b38161fe3fef98a518d60403c6a287ad7ecdf63853

마소 엔지니어에게 GPT-6 트레이닝을 위한 클러스터 프로젝트에 대해 들었다.

그는 서로 다른 지역에 있는 GPU들에 인피니밴드 연결을 지원하는게 얼마나 어려운 일인지에 대해 자주 불평하였다.

나: 왜 클러스터들을 동일한 지역에 모아두지 않은거야?

걔: 아 우리도 처음에 그렇게 함. 근데 한 지역(state)에 H100을 10만개 이상 놓으면 파워그리드 전체가 다운돼 버리더라고

한 지역에서 H100 10만개 이상을 쓰지 못해 여러 지역을 연결해서 클러스터를 구성 중이란걸 보면

미국 여러 지역에 수만개씩 연결해서 수십만개로 트레이닝 중인가봄...

참고로 H100 가격은 하나에 6천만원 정도ㅋㅋ

고정닉 0

원본 첨부파일 1

1711639810.png

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	SNS로 싸우면 절대 안 질 것 같은 고집 있는 스타는?	운영자	24/05/06	-	-
공지	컴퓨터 본체 갤러리 이용 안내 [74]	운영자	22.12.13	45166	78
4479545	탑카밀이 이렇게 쎄다고???	용팔이킬러본좌(90.109)	13:39	0	0
4479544	이거 필름 있는건가?	컴갤러(58.79)	13:39	1	0
4479543	🔴 섹카오톡 레전드jpg	ㅇㅇ(61.77)	13:39	1	0
4479540	보수 뽑으면 병신인 이유	컴갤러(175.203)	13:38	8	1
4479539	현재 유튜브에 난리난 미드피오라	용팔이킬러본좌(90.109)	13:38	11	0
4479537	🔴 섹카오톸 레전드. jpg	ㅇㅇ(221.144)	13:38	3	0
4479535	근데 이국주는 왜 욕 먹었던거임??.jpg [1]	ㅇㅇ(221.160)	13:38	10	0
4479532	🔴 섹카오톸 레전드,jpg	ㅇㅇ(221.158)	13:37	6	0
4479531	페이커 이제 퇴물이야??? [1]	ㅇㅇ(121.172)	13:37	8	0
4479530	이거 실시간 전기 사용량 나옴? [1]	컴갤철희	13:36	10	1
4479528	남친구함~~^o^ [1]	ㅇㅇ(211.36)	13:36	10	0
4479526	cpu랑 글카 따로 사서 가도 컴퓨존 조립해줘?? [3]	컴갤러(1.211)	13:36	19	0
4479523	컴퓨처 첨받으면 윈도우깔고 뭐해야됨? [3]	ㅇㅇ	13:35	18	0
4479522	🔴 요즘 꽁 떡하기 개쉬움 j pg.	ㅇㅇ(61.77)	13:35	4	0
4479520	지금 4060ti는 좀 애매한 상태지?	ㅇㅇ(115.144)	13:35	14	0
4479518	요즘 내장 성능이다 185h [4]	컴갤러(1.11)	13:34	32	0
4479515	라데온은 채굴상관안해도 되는게	ㅇㅇ(124.51)	13:33	15	0
4479513	🔴 요즘 꽁떡하기 개쉬움.j pg	ㅇㅇ(221.144)	13:33	5	0
4479510	cpu교체 출장 부르는거 호구냐?? [5]	ㅇㅇ	13:32	30	0
4479509	스파6 세계랭커랑 마스터계급이랑은 하늘과땅차이	용팔이킬러본좌(90.109)	13:32	11	0
4479507	모니터에 이거 꽂아야하는거임? [3]	컴갤러(58.79)	13:32	28	0
4479506	🔴 승무원쌕파 만든썰 jpg.	ㅇㅇ(61.77)	13:31	5	0
4479504	cpu 글카 따로 사서 가도 컴퓨존 가능함?	컴갤러(1.211)	13:31	17	0
4479502	요즘엔 이런 여자랑 사귀고싶음 ㅋㅋ [2]	메쿠이로	13:31	33	0
4479497	🔴 승무원쌕파 만든썰.jpg	ㅇㅇ(221.144)	13:29	8	0
4479495	12만원으로 램 스스디 파워 케이스 구매 가능함? [2]	컴갤러(39.7)	13:29	29	0
4479494	컴퓨터 전문업체는 내부 물청소도 하나요..? [4]	ㅇㅇ(106.102)	13:28	27	0
4479491	컴맹 질문이요ㅜㅜ [1]	컴갤러(220.126)	13:28	12	0
4479489	🔴 요즘 꽁 떡 하기 개쉬움jpg	ㅇㅇ(61.77)	13:28	7	0
4479488	그래픽카드 전기 많이 먹는거 쓰려면 메인보드도 좋아야함? [2]	컴갤러(121.163)	13:27	24	0
4479483	컴 그래픽카드랑 모니터 업글할건데 추천좀 [5]	3234(125.191)	13:26	27	0
4479481	🔴 요즘 꽁떡하기 개쉬움.jpg	ㅇㅇ(221.144)	13:25	8	0
4479478	🔴 섹카오톡 레전드jpg	ㅇㅇ(61.77)	13:24	8	0
4479477	듀얼공랭 대장	ㅇㅇ(115.144)	13:24	16	0
4479474	이거 살건데 led색 핑크로 못바꿔?? [1]	컴갤러(222.116)	13:24	16	0
4479471	🔴 섹카오톸 레전드,jpg	ㅇㅇ(221.158)	13:23	12	0
4479469	이거 두개 같은 물건 같은데.. [2]	ㅇㅇ	13:22	37	0
4479468	형들 이거 한번만 봐줘 제발;;; [6]	ㅇㅇ(119.205)	13:22	47	0
4479466	벽걸이 에어컨 소비전력 알고 싶은데 소비전력 측정기 사면 됨? [4]	컴갤철희	13:22	28	0
4479465	발렉스로 컴터 배송 받아본사람 있어?? [3]	ㅇㅇ(223.39)	13:22	20	0
4479463	편의점에 랜선 파냐?	컴갤러(58.79)	13:21	15	0
4479462	윈11 클린설치 하려는데 여기서 어케해야함? [2]	ㅇㅇ(118.217)	13:21	36	0
4479458	데스크탑 청소랑 서멀재도포 얼마정도 하나요 [3]	ㅇㅇ(106.102)	13:21	24	0
4479456	이거 참여함?	컴갤러(39.116)	13:20	17	0
4479454	지금 50돈 짜리 목걸이 하고다니는데 [3]	ㅇㅇ(211.216)	13:20	24	0
4479453	🔴 요즘 꽁 떡하기 개쉬움 j pg.	ㅇㅇ(61.77)	13:20	13	0
4479450	i7 77따리에 브가만 잘끼워도 최신겜 다돌아가지않나? [3]	컴갤러(118.235)	13:19	31	0
4479449	주말에도 일하는 나 레전드	ㅇㅇ(211.246)	13:19	13	0
4479448	그동안 공떡 앱이랑 사이트 여러개 쓰면서..	ㅇㅇ(115.88)	13:19	11	0