AWS運算與網路服務副總裁David Brown表示：「AWS Trainium2是專為支援大型、前沿的生成式AI工作負載而設計的，能夠滿足訓練和推論的需求，並在AWS上提供卓越的性價比。隨著模型參數接近萬億，我們意識到客戶需要一種創新的方法來高效訓練和運行規模龐大的工作負載。在AWS上，全新的Amazon EC2 Trn2 UltraServers提供超快速的訓練和推論效能，幫助各類企業以更快的速度和更低的成本訓練和部署世界上最大的模型。」

隨著模型規模的不斷擴大，客戶希望縮短訓練時間和推論延遲，這對運算和網路基礎設施提出了更高的要求。AWS已提供廣泛的Amazon EC2加速執行個體選擇，包括基於GPU和機器學習晶片的執行個體。然而，即使是目前最快的加速執行個體，客戶仍希望實現更高的效能和更大的可擴展性，以更低的成本更快地訓練這些日益複雜的模型。隨著模型複雜性和資料量的增加，因為平行處理的限制，單純擴大叢集規模已無法有效縮短訓練時間。同時，即時推論的需求也超出了單執行個體架構的負載能力。

Amazon EC2 Trn2執行個體為深度學習和生成式AI提供卓越效能
與目前基於GPU的EC2執行個體相比，Amazon EC2 Trn2的性價比提升30%至40%。單個Trn2執行個體使用了16個Trainium2 晶片，透過NeuronLink超快速高頻寬、低延遲的晶片之間的互連，可提供高達20.8 Petaflops浮點運算力，非常適合訓練和部署數十億參數的模型。

Amazon EC2 Trn2 UltraServers滿足全球超大型模型日益增長的AI運算需求
對於需要更強運算力的超大型模型，Amazon EC2 Trn2 UltraServers使客戶能夠突破單個Trn2執行個體的限制進行擴展，進而減少訓練時間，加快產品上市的速度，實現快速反覆運算以提高模型準確性。作為全新的EC2產品，Trn2 UltraServers利用NeuronLink超高速互連將四個Trn2伺服器連接為一個巨型伺服器。客戶透過全新Trn2 UltraServers，可以在64個Trainium2晶片上擴展他們的生成式AI工作負載。在推論工作負載方面，客戶可以使用Trn2 UltraServers提升生產環境中萬億參數模型的即時推論效能。AWS正在與Anthropic共同建構一個名為Project Rainier的EC2 UltraCluster運算叢集，該叢集由Trn2 UltraServers組成，能夠在數十萬個Trainium2晶片之間透過第三代低延遲的PB級EFA網路進行分散式模型訓練，其運算能力比Anthropic目前一代領先AI模型訓練所需運算力高出5倍以上。該專案完成後，預計將成為全球最大可用的AI運算叢集，供Anthropic建構和部署未來模型使用。

AWS Trainium3晶片，專為新一代前沿生成式AI工作負載的高效能需求而設計
AWS揭露了新一代AI訓練晶片AWS Trainium3的計畫。Trainium3是AWS首款採用3奈米工藝製造的晶片，在效能、能效和密度上樹立了新標準。搭載Trainium3的UltraServers效能預計將是Trn2 UltraServers的四倍，使客戶在建構模型時能夠更快地反覆運算，並在部署時提供卓越的即時效能。首批基於Trainium3的執行個體預計將在2025年末上線。

AWS Neuron Software助力客戶充分發揮Trainium2效能
AWS Neuron SDK包括編譯器、執行庫和工具，幫助開發者優化模型以在Trainium上運行。它讓開發者具有在Trainium晶片上優化模型以獲得最佳效能的能力。它與JAX和PyTorch等熱門框架原生整合，使客戶在Trainium上使用現有程式碼和工作流程時只需進行少量程式碼修改。同時，Neuron支援Hugging Face模型庫中超過10萬個模型。透過Neuron Kernel Interface（NKI），開發人員可以直接使用裸機的Trainium晶片，編寫運算核心以最大限度地提升運算密集型工作負載的效能。

AWS Neuron旨在簡化使用JAX等熱門框架在Trainium2上訓練和部署模型，同時儘量減少程式碼更改和對特定供應商解決方案的依賴。Google支援AWS透過其原生的OpenXLA整合，使客戶能夠使用JAX進行大規模訓練和推論，提供簡單靈活的程式碼路徑，幫助使用者快速上手Trn2執行個體。隨著業界廣泛的開源合作，以及Trainium2的推出，Google預計JAX在機器學習社群的應用將顯著增加，這將成為整個機器學習生態系統的重要里程碑。

- 新聞稿有效日期，至2024/12/31為止

上一篇：亞馬遜推出新一代基礎模型Amazon Nova
下一篇：AWS在Amazon Bedrock上推出100多個新模型