Neural Magic 將帶來在生成式 AI 效能工程、最先進的模型優化演算法，以及高效能 GPU 和 CPU 推論服務的專業技術

【台北訊，2024 年 11 月 18 日】世界領先開放原始碼軟體解決方案供應商 Red Hat 近日宣布已簽署收購 Neural Magic 的最終協議，Neural Magic 為提供能加速生成式 AI 推論工作負載的軟體與演算法領導業者，其在推論效能工程的專業技術及對開源的承諾與 Red Hat 的願景一致，致力於在跨混合雲環境中的任何一處皆能實現高效能 AI 工作負載，並滿足客戶特殊的應用情境和資料。

儘管生成式 AI 的前景在當今科技領域中已佔據主導地位，然支撐其系統的大型語言模型（LLM）規模仍持續擴大。因此，為建置具成本效益且可靠的 LLM 服務，企業需要大量的運算資源、能源，以及專業的營運技能。多數企業因上述挑戰而難以享受到客製化、部署就緒且更具安全性的 AI 所帶來的優勢。

Red Hat 期望能藉由 vLLM 的開源創新賦能更多企業更易於使用生成式 AI，從而應對其面臨的挑戰。vLLM 是由加州大學柏克萊分校開發、由社群驅動的開源專案，專注於開放模型服務（即生成式 AI 模型如何推論與解決問題），支援所有主要模型系列、先進的推論加速研究及多種硬體後端，包含 AMD GPU、AWS Neuron、Google TPU、Intel Gaudi、NVIDIA GPU 和 x86 CPU。結合 Neural Magic 在 vLLM 專案中的領導地位與 Red Hat 強大的混合雲 AI 技術產品組合，將為企業提供一條開放的途徑，打造能滿足獨特需求的 AI 策略，無論資料位於何處皆可實現。

Red Hat 總裁暨執行長 Matt Hicks 表示：「無論企業的資料位於跨混合雲中的任何位置，AI 工作負載皆必須能正常運行。因此，靈活、標準化且開放的平台和工具成為必然，賦能企業得以選擇最符合其營運和資料需求的環境、資源和架構。很高興能透過 Neural Magic 突破性的 AI 創新完善我們專注於混合雲的 AI 產品組合，驅使我們不僅做為開源的『Red Hat』，也成為 AI 領域的『Red Hat』。」

Neural Magic 執行長 Brian Stevens 說明：「業界已一次次證明開源能透過社群協作的力量推動創新。Neural Magic 匯聚了業界頂尖的 AI 效能工程專家，專注於打造開放、跨平台且超高效的 LLM 運行能力。加入 Red Hat 不僅是企業文化的契合，更將協助各規模的企業加速 AI 轉型之旅。」

IBM Research 資深副總裁暨院長 Dario Gil 表示：「隨著客戶積極尋求在跨混合環境中擴展 AI，基於開放基礎的虛擬化和雲端原生 LLM 將成為業界標準。結合 Red Hat 在開源領域中的領導地位、IBM Granite 高效的開源模型，以及 Neural Magic 跨平台的 AI 擴展解決方案，將賦能企業於內部部署 AI 所需的控制力與彈性。」

Red Hat 攜手 Neural Magic 共同驅動混合雲就緒的生成式 AI 大未來

Neural Magic 於 2018 年自麻省理工學院（MIT）獨立，旨在開發高效能的深度學習（deep learning）推論軟體。Neural Magic 的技術和效能工程專業加上 Red Hat 的 AI 技術產品組合，將驅動 Red Hat 加速實現 AI 未來願景。Red Hat 為突破大規模企業級 AI 的挑戰，運用開源創新進一步推動 AI 變革的力量，包括：

開源授權模型：涵蓋從 1B 到 405B 參數規模，可在跨混合雲環境中靈活部署，無論是位於企業資料中心、多雲架構抑或是邊緣。

微調能力：企業得以在更安全的覆蓋範圍，更輕鬆地依據其私有資料和應用情境自訂 LLM。

推論效能工程專業：可實現更高的營運及基礎架構效率。

豐富的合作夥伴與開源生態系及支援架構：客戶擁有更廣泛的選擇，從 LLM、工具到認證伺服器硬體和基層晶片架構。

借助 vLLM 領導地位強化 Red Hat AI
Neural Magic 憑藉在 vLLM 領域的專業知識，致力於建置企業級推論堆疊，以協助客戶於跨混合雲環境中優化、部署並擴展 LLM 工作負載，且能充分掌控基礎架構選擇、安全原則和模型生命周期。Neural Magic 亦建置 LLM Compressor 進行模型優化研究，其為以先進的稀疏性（sparsity）和量化（quantization）演算法優化 LLM 的整合式涵式庫，此外也維護經預先優化、可運用 vLLM 即時部署的存放庫。

Red Hat AI 旨在透過強大的技術協助客戶降低 AI 成本及技能門檻，其中包含：

Red Hat Enterprise Linux AI（RHEL AI）：為基礎模型平台，可賦能 IBM Granite 開源 LLM 系列於 Linux 伺服器部署上更無縫地開發、測試及運行企業應用程式。

Red Hat OpenShift AI：為 AI 平台，可在橫跨地端、公有雲及邊緣的分散式 Kubernetes 環境中，提供快速開發、訓練、服務並監控機器學習模型的工具。

InstructLab：由 Red Hat 和 IBM 共同推出的開源 AI 社群專案，任何人都可藉由 InstructLab 的微調技術協作改善開源授權的 Granite LLM，一同推動生成式 AI 的未來發展。

Red Hat 將藉由 Neural Magic 在 vLLM 技術的領導地位，強化支援 LLM 部署的 AI 能力，賦能跨混合雲環境中隨時隨處部署，並提供現成、高度優化且開放的推論技術堆疊。

此交易需經監管機構審查和其他慣例成交條件（customary closing conditions）而定。

Red Hat、Red Hat Enterprise Linux、Red Hat logo 及 OpenShift 為 Red Hat 或其子公司在全球之商標或註冊商標。Linux® 為 Linus Torvalds 在全球的註冊商標。

- 新聞稿有效日期，至2024/12/19為止

上一篇：《無限暖暖》12月5日正式上線 邀請歌手Jessie J獻唱主題曲
下一篇：軍事金屬公司完成歐洲棕地銻專案的收購