原標(biāo)題：Nvidia在最新的MLPerf基準(zhǔn)測(cè)試中展示Hopper

在最新的MLPerf基準(zhǔn)測(cè)試中，NVIDIA再次展示了其強(qiáng)大的Hopper架構(gòu)的實(shí)力。以下是關(guān)于NVIDIA Hopper在MLPerf基準(zhǔn)測(cè)試中表現(xiàn)的詳細(xì)概述：

1. 測(cè)試結(jié)果概述：

• NVIDIA的Grace Hopper超級(jí)芯片，特別是GH200型號(hào)，在MLPerf推理基準(zhǔn)測(cè)試中取得了顯著的成績(jī)。這款超級(jí)芯片將一顆Hopper GPU和一顆Grace CPU連接到一個(gè)單一芯片中，提供了更大的內(nèi)存、更快的帶寬，并能夠在CPU和GPU之間自動(dòng)切換計(jì)算資源以實(shí)現(xiàn)性能最優(yōu)化。

2. 具體表現(xiàn)：

• 在MLPerf的測(cè)試中，內(nèi)置8顆H100 GPU的NVIDIA HGX H100系統(tǒng)，在每一項(xiàng)MLPerf推理測(cè)試中均實(shí)現(xiàn)了最高吞吐量。

• NVIDIA的Grace Hopper超級(jí)芯片和H100 GPU在所有MLPerf數(shù)據(jù)中心測(cè)試中均處于領(lǐng)先地位，這涵蓋了針對(duì)計(jì)算機(jī)視覺、語音識(shí)別、醫(yī)學(xué)成像的推理，以及應(yīng)用于生成式AI的推薦系統(tǒng)和大語言模型（LLM）等對(duì)性能要求更高的用例。

1. 技術(shù)亮點(diǎn)：

• Hopper架構(gòu)通過Transformer引擎推進(jìn)Tensor Core技術(shù)的發(fā)展，旨在加速AI模型訓(xùn)練。Hopper Tensor Core能夠應(yīng)用混合的FP8和FP16精度，以大幅加速Transformer模型的AI計(jì)算。

• Hopper架構(gòu)與第四代NVIDIA NVLink和NVSwitch技術(shù)相結(jié)合，使得百億億次級(jí)高性能計(jì)算和萬億參數(shù)的AI模型能夠在服務(wù)器集群中的每一個(gè)GPU之間實(shí)現(xiàn)平滑流暢的高速通信。

2. 性能提升：

• 與上一代相比，Hopper架構(gòu)在生成式AI訓(xùn)練和推理方面實(shí)現(xiàn)了驚人的速度提升。特別是針對(duì)GPT-J 6B模型，NVIDIA的TensorRT-LLM軟件在H100 GPU上能夠?qū)崿F(xiàn)高達(dá)8倍的性能提升。

3. 生態(tài)系統(tǒng)支持：

• NVIDIA AI平臺(tái)得到了業(yè)界最廣泛的機(jī)器學(xué)習(xí)生態(tài)系統(tǒng)的支持。在MLPerf測(cè)試中，有超過70項(xiàng)提交結(jié)果是在NVIDIA平臺(tái)上運(yùn)行的，包括Microsoft Azure等云服務(wù)提供商以及華碩、戴爾科技、富士通等系統(tǒng)制造商。

綜上所述，NVIDIA的Hopper架構(gòu)在最新的MLPerf基準(zhǔn)測(cè)試中再次展現(xiàn)了其強(qiáng)大的性能和領(lǐng)先地位，進(jìn)一步鞏固了NVIDIA在AI計(jì)算領(lǐng)域的領(lǐng)導(dǎo)地位。