본문 바로가기
조회 수 20 추천 수 0 댓글 0
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄 첨부
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄 첨부
Extra Form
링크 https://pc.watch.impress.co.jp/docs/colu...52561.html

 

키노트 영상

 

1.jpg

 

NVIDIA가 암페어 아키텍처 기반 하이엔드 GPU인 A100을 발표했습니다. TSMC 7nm 공정의 고급형 GPU로, 다이 크기는 826제곱mm로 볼타와 거의 같으며, 트랜지스터 수는 540억개로 볼타의 2배 이상, 메모리는 HBM2에 6144비트, 6개의 HBM 스택을 GPU에 연결하며 대역폭은 1.6TB/s, 용량은 40GB입니다. 현재 나온 칩 중에서 가장 큰 규모지요.

 

2.jpg

 

NVIDIA는 GTC 2020의 기조 강연을 통해 젠슨 황 CEO가 암페어에 대해 설명했습니다. 하이엔드 GPU는 GPU 컴퓨팅 시장을 우선 공략하나 나중에 그래픽카드 시장에도 진출합니다. 이번에 나온 제품은 우선 데이터센터를 공략하는 GPU 컴퓨팅용 제품입니다. 

 

nR6YHLyS0UyEGDvh.jpg

 

 

A100은 연산 성능이 높습니다. SM이 108개, 벡터 유닛은 FP32 쿠다 코어가 6912개, FP64는 3456개로, FP64에서 9.7TFLOPS, FP32에서 19.5TFLOPS의 성능을 내며 클럭은 최고 1.4GHz입니다. 

 

3.jpg

 

 

NVIDIA GPU는 볼타부터 딥 러닝을 위한 텐서 연산 유닛인 텐서 코어를 탑재합니다. GPU는 기본적으로 벡터 연산을 수행하나, 텐서 코어를 결합해 딥 러닝 성능을 대폭 향상시켰습니다. 암페어 역시 마찬가지입니다. NVIDIA A100의 텐서 코어는 432개로 SM당 4코어씩 배치됩니다. 볼타는 8코였으니 텐서 코어 수가 줄어든 것처럼 보이지만 그 배치 방식이 바뀌었습니다. 볼타는 SM의 프로세싱 블럭에 16x16 텐서 유닛이 들어가고, 엠페어는 16x32입니다. 

 

4.jpg

 

암페어의 텐서 코어는 달라진 부분이 몇 가지 있습니다. 우선 데이터 정확도에 BFloat16과 Tensor Float32이 추가됐습니다. BFloat16은 신경망에서 사용을 전제로 제안하는 새로운 부동소수점 형식입니다. 기존의 IEEE 754 부동 소수점은 FP32(32비트 단정밀도 부동소수)가 Sign 1비트, Exponent 8비트, Mantissa 23비트로 구성됐고, FP16은 Sign 1비트, Exponent 5비트, Mantissa 10비트였습니다. BFloat16은 Sign 1비트, Exponent 8비트, Mantissa 7비트가 됩니다. 데이터 크기는 FP16과 같지만 확장 범위-다이나믹 레인지는 FP32와 같아, 넓은 확장이 중요한 경우에 적합합니다.

 

Tensor Float32는 Sign 1비트, Exponent 8비트, Mantissa 10비트입니다. 19비트 길이의 다이나믹 레인지는 FP32와 같으나, Mantissa의 데이터 정확도는 FP16과 같습니다. FP32의 다이나믹 레인지를 도입하면서 FP16 수준의 정확도를 지키는 형식입니다. 암페어는 FP16 외에도 BF16, TF32, Int8, Int4, FP64 등을 지원합니다.

 

5.jpg

 

암페어의 텐서 코어는 딥러닝의 추론 처리에서 전력 효율을 높여주는 Pruning 처리를 하드웨어적으로 지원합니다. sparse 네트워크를 정리해 효율적으로 실행하는 하드웨어를 내장합니다. 그 결과 sparse 네트워크의 실행 성능은 최대 2배가 됩니다. 

 

6.jpg

 

SM 수를 늘리고 새로운 데이터 포맷을 도입하며 sparse 제어를 지원하면서 암페어의 딥 러닝 성능은 크게 발전했습니다. 텐서 코어의 BF16과 FP16 성능은 312TFLOPS, sparse 사용 시 2배인 624TFLOPS. TF32의 성능은 평상시 156TFLOPS, sparse 에서 312TFLOPS. INT8의 정수 연산 성능은 624TOPS, sparse에서 1248TOPS가 됩니다.

 

 

7.jpg

 

볼타 아키텍처는 추론 단계의 성능이 약했으나, 암페어는 추론과 학습 모두가 강화됐습니다. 볼타 V100과 비교해서 암페어 A100은 BERT 신경망 교육에서 6배, 추론 단계에서 7배의 성능을 냅니다.

 

 

또 암페어는 텐서 코어에서 FP64도 지원합니다. 벡터의 FP64는 9.7TFLOPS의 성능을 내지만, 텐서 코어의 FP64는 19.5TFLOPS로 FP16의 벡터 연산과 같은 수준의 성능을 냅니다. 앞으로 더 많은 분야에 활용하는 것을 염두에 둔 확장입니다.

 

8.jpg

 

그리고 GPU 칩의 리소스를 분할해 다른 인스턴스를 병렬 실행하는 멀티 인스턴스를 지원합니다. 최대 7개의 인스턴스를 하나의 칩에서 실행합니다. NVIDIA GPU가 지금까지 큰 작업을 칩 전체에서 수행하는데 집중했다면, 암페어는 작은 작업을 병렬 실행하는 방향으로 전환하고 있습니다.

 

 

9.jpg

 

A100을 탑재한 GPU 컴퓨팅 시스템인 DGX A100입니다. 8개의 NVIDIA A100 GPU가 들어가고.

 

 

11.jpg

 

12.jpg

 

2개의 64코어 AMD 에픽 로마 CPU, NVLink 스위치인 NV스위치 6개로 구성됩니다. PCIe 4.0과 코어 수 때문에 AMD 에픽을 사용한 듯 합니다. 시스템 전체 성능은 FP16에서 5PFLOPS, 가격은 199,000달러입니다.

 

14.jpg

 

그리고 AI 플랫폼 보드인 NVIDIA EGX A100입니다. 엣지 사이드의 딥 러닝을 위한 제품입니다. 

 

duNvSAs4ZdVl8JV9.jpg

 

NVIDIA가 인수한 멜라눅스 커넥트의 스마트 네트워크 인터페이스 컨트롤러입니다. 업계 최초로 25Gb/s의 연결을 지원합니다. 25Gb/s 포트 두개가 있으며 합쳐서 50Gb/s로 운용도 가능. PCIe 3.0/4.0 x8로 연결합니다. 

 

VLsdkOj4n2TiUrRp.jpg

 

 Jetson Xavier NX 개발자 키트입니다. 클라우드를 네이티브 지원하는 AI 애플리케이션 가속 플랫폼입니다.

 


하드웨어포럼

토론게시판

List of Articles
분류 제목 글쓴이 조회 수 최근 수정일
정보글 시게이트 20TB HAMR 하드디스크, 14TB 듀얼 액추에이터 하드디스크 2 file 회원_78446382 19 20.05.18
일반/잡담 AMD 라이젠 3 3300X 개인적인 의견 1 회원_43385531 54 20.05.08
정보글 최고가 CPU에 최저가 메인보드를 쓴다면? 과연 터질까요? 3950X + A320 직접 실험해봤습니다! file 회원_70923249 20 20.05.21
정보글 라이젠 4000 시리즈 데스크탑용 내장그래픽 8코어 16스레드 APU 성능테스트 포착! 회원_25134471 16 20.05.21
정보글 기가바이트, X570에서 라이젠 5 1600 AF를 지원 file 회원_17944351 6 20.05.20
정보글 인텔 Gen12, Xe DG1 그래픽의 OpenCL 성능 file 회원_26448887 6 20.05.20
라이젠 4000 베르메르, 4.6GHz, 젠 3, 9월 예정 회원_75834428 14 20.05.20
정보글 B450/X470에서 젠 3/라이젠 4000을 지원 file 회원_68892693 9 20.05.20
정보글 55종의 AMD B550 칩셋 메인보드 file 회원_91878799 11 20.05.20
정보글 AMD 라이젠 3 3100, 라이젠 3 3300X 성능에 대해 알아보자 file 회원_76975220 5 20.05.20
정보글 메인보드 제조사별 램 오버클럭 하는방법 ( 공짜! 게임 성능까지 업!! ) 회원_63085990 6 20.05.20
일반/잡담 파워 80plus 에 대해 알아보자 file 회원_52037790 5 20.05.20
정보글 시게이트 20TB HAMR 하드디스크, 14TB 듀얼 액추에이터 하드디스크 2 file 회원_78446382 19 20.05.18
정보글 라이젠 4000 르누아르의 AM4 데스크탑 프로세서 라인업 file 회원_35935639 23 20.05.16
정보글 MSI의 B550 칩셋 메인보드 라인업 file 회원_20467162 22 20.05.16
정보글 NVIDIA, 암페어 아키텍처의 대형 GPU인 A100을 발표 file 회원_40970836 20 20.05.16
일반/잡담 AMD 라이젠 3 3300X 개인적인 의견 1 회원_43385531 54 20.05.08
정보글 라이젠 3 3300X vs 인텔 i7-7700K 시네벤치 결과 file 회원_69112136 60 20.04.30
정보글 라이젠 3 3300X 의 현재 알려진 긱벤치 5 점수 file 회원_75558368 42 20.04.30
정보글 HDD, SSD 141개 제품벤치 점수비교 file 회원_53115949 73 20.03.21
정보글 AMD, 라이젠 4000 모바일, 7nm 르누아르 프로세서 출시 file 회원_96355255 121 20.03.17
일반/잡담 AI 인공지능 LOT 전력측정해서 똑똑하게 전기쓰자 file 회원_96508805 24 20.03.16
일반/잡담 아마존 2세대 ARM 프로세서의 성능 비교 벤치마크 (AnandTech) file 회원_72334262 23 20.03.14
정보글 AMD 오버초심자분들을 위한 램오버 가이드 참조하세요 1 회원_24805186 150 20.05.17
정보글 AMD 메인보드 램 오버클럭 가이드 1 file 회원_07648498 360 20.05.17
정보글 (뻘팁)Zotac 그래픽카드 간단하고 빠르게 오버클럭하기 file 회원_27380310 22 20.03.09
일반/잡담 오버클럭 즐기시는 분들은 라이젠 3세대는 재미없다 file 회원_87194993 24 20.03.09
Board Pagination Prev 1 2 3 4 5 6 7 8 9 10 ... 69 Next
/ 69
서버에 요청 중입니다. 잠시만 기다려 주십시오...