• Graviton4與前一代Graviton3處理器相比，效能提升高達30%，獨立核心增加50%以上，記憶體頻寬提升75%以上，為在Amazon EC2上運行的工作負載提供最佳效能和能源效率。
• Trainium2與第一代Trainium晶片相比訓練速度提升多達4倍，並能在EC2 UltraClusters中部署多達100,000個晶片，可以在極短的時間訓練基礎模型（FMs）和大語言模型（LLMs），同時能源效率提升多達2倍。

AWS Graviton4與AWS Trainium2（原型），圖片來源：Business Wire。

AWS運算與網路服務副總裁David Brown表示：「晶片是客戶所有工作負載的基礎，這也是為什麼AWS一直將此領域視為至關重要的創新領域。透過將晶片設計聚焦於客戶真正關心的實際工作負載，我們能夠為客戶提供最先進的雲端基礎設施。Graviton4是我們在短短五年推出的同系列第四代，是我們至今功能最強大和最具能源效率的晶片，支援客戶廣泛的工作負載。隨著生成式AI引起廣大的關注，Tranium2可以幫助客戶以更低的成本和更佳的能源效率，更快地訓練機器學習模型。」

Graviton4為客戶廣泛的工作負載提供更佳的性價比和更高的能源效率
如今，AWS在全球大規模提供的使用Graviton的Amazon EC2執行個體種類達150多個，已經建構的Graviton處理器數量超過200萬個，並擁有超過50,000客戶。這些客戶涵蓋了EC2最大的前100個客戶，他們應用使用Graviton的執行個體獲得最佳的性價比。Datadog、DirecTV、Discovery、Formula 1 (F1)、NextRoll、Nielsen、Pinterest、SAP、Snowflake、Sprinklr、Stripe以及Zendesk等客戶正採用使用Graviton的執行個體運行廣泛的工作負載，包括資料庫、資料分析、網路服務器、批次處理、廣告服務、應用伺服器以及微服務等。隨著客戶把更大的記憶體資料庫和分析工作負載遷移到雲端，對運算、記憶體、儲存和網路的要求也隨之增加。為此，客戶需要更高效能和更大的執行個體來運行這些要求嚴苛的工作負載，同時需要優化成本。針對這些工作負載，客戶還希望能使用更加節能的運算資源，減少對環境的影響。目前，很多AWS的託管服務都支援使用Graviton，包括Amazon Aurora、Amazon ElastiCache、Amazon EMR、Amazon MemoryDB、Amazon OpenSearch、Amazon Relational Database Service (Amazon RDS)、AWS Fargate 以及AWS Lambda等，將Graviton的性價比優勢帶給使用這些服務的客戶。

Graviton4處理器相比Graviton3處理器效能提升30%，獨立核心增加50%以上，記憶體頻寬提升75%以上。Graviton4還進一步透過完全加密高速物理硬體介面提升了安全性。Amazon EC2 R8g記憶體優化執行個體將採用最新的Graviton4，提升客戶運行高效能資料庫、記憶體緩存、大數據分析等工作負載的效率。R8g執行個體相比前一代R7g執行個體提供更大的執行個體大小，虛擬處理器（vCPU）以及記憶體均提升了3倍。這讓使用者可以處理更大量的資料、更大規模的工作負載、更快獲得運行結果，並降低擁有權總成本。使用Graviton4的R8g執行個體現已提供預覽版，並將在未來幾個月推出正式可用版。欲了解更多使用Graviton4的R8g執行個體的資訊，請至：aws.amazon.com/ec2/instance-types/r8g。

Trainium2的EC2 UltraClusters致力於為客戶提供雲端最高效能、最具能源效率的AI模型訓練基礎設施
如今日益增加的生成式AI應用背後的基礎模型和大語言模型需要使用海量的資料進行訓練。這些模型透過創造文字、音訊、圖片、影片、甚至軟體程式碼等大量新的內容，幫助客戶重構使用者體驗。當今最先進的基礎模型和大語言模型通常包含數千億甚至數萬億個參數或變數，需要能夠支援上萬機器學習晶片進行擴展的可靠高效能運算能力。AWS現已提供廣泛而深入的機器學習晶片支援的Amazon EC2執行個體選項，包括最新的NVIDIA GPU、Trainium以及Inferentia2。

Databricks、Helixon、Money Forward以及Amazon Search團隊等眾多客戶都在使用Trainium訓練大規模深度學習模型，受益於Trainium的高效能、可擴展、可靠以及低成本等諸多優勢。然而即便已經在使用當今最快的加速執行個體，客戶仍然希望獲得更強的效能和規模來訓練這些日益複雜的模型，從而提高訓練速度、降低成本，同時降低能源消耗。

Trainium2晶片專為以高效能訓練具有數萬億個參數或變數的基礎模型和大語言模型而打造。Trainium2與第一代Trainium晶片相比，效能提升多達4倍，記憶體提升3倍，能源效率（每瓦效能）提升多達2倍。Amazon EC2 Trn2執行個體採用最新的Trainium2，一個單獨執行個體包含16個Trainium加速晶片。Trainium2執行個體致力於為客戶在新一代EC2 UltraClusters中擴展多達100,000個Trainium2加速晶片，並與AWS Elastic Fabric Adapter（EFA）PB級網路互連，提供的產能高達65 exaflops（exaflops指10的18次方，百億億次），客戶可按需獲得超級運算級別的效能。有了這個級別的規模，客戶可在數週而非數月就能訓練完成一個具有3千億參數的大語言模型。透過顯著降低的成本提供最高橫向擴展的模型訓練，Trainum2執行個體可以幫助客戶開啟並加速生成式AI的新一輪創新。欲了解更多Trainum2的相關資訊，請至：aws.amazon.com/machine-learning/trainium/。

- 新聞稿有效日期，至2024/01/06為止

上一篇：國泰選擇AWS作為長期策略雲端服務夥伴
下一篇：如何在香港申請花旗個人貸款