llama.cpp和LM Studio概述
LM Studio基於llama.cpp項目，是一個廣受歡迎的框架，用於快速且輕鬆地部署語言模型。LM Studio沒有相依性（dependencies），僅使用CPU即可進行加速，亦支援GPU加速功能。LM Studio使用AVX2指令集來加速基於x86 CPU的現代LLM。效能對比：吞吐量和延遲 AMD Ryzen™ AI為這些最先進的工作負載進行加速，在x86筆電上運行LM Studio等基於llama.cpp的應用程式提供領先業界的效能註1。值得注意的是，LLM通常對記憶體速度非常敏感。
在我們的對比測試中，Intel筆電的RAM實際上速度較快，達到8533 MT/s，而AMD筆電的RAM為7500 MT/s。儘管如此，AMD Ryzen™ AI 9 HX 375處理器的每秒token生成速度（tokens per second）比競爭對手快出高達27%。參考資料顯示tokens per second (tk/s)是測量LLM輸出token速度的指標，大約對應於每秒在螢幕上顯示的字數。 AMD Ryzen™ AI 9 HX 375處理器在Meta Llama 3.2 1b Instruct（4-bit量化）中可實現每秒高達50.7個token的效能。 對大型語言模型進行基準測試的另一個指標是「輸出首個token的時間（time to first token）」，測量從提交提示（prompt）至模型開始生成token之間的延遲時間。在較大模型中，基於AMD “Zen 5”架構的Ryzen™ AI HX 375處理器的速度相較競爭對手的同級處理器快出高達3.5倍註1。 在Windows中使用可變顯示記憶體（VGM）來提高模型吞吐量
AMD Ryzen™ AI CPU中的三個加速器各自擁有特定的工作負載專業化和擅長的情境。基於AMD XDNA™ 2架構的NPU在執行Copilot+工作負載時為持續的AI功能提供卓越的功耗效率，CPU為工具和框架提供廣泛的覆蓋範圍和相容性，而內顯（iGPU）通常根據需求處理AI任務。 LM Studio提供llama.cpp的連接埠（port），可使用與供應商無關（vendor-agnostic）的Vulkan API來加速框架。此加速通常取決於硬體功能和Vulkan API的驅動程式最佳化的組合。與僅使用CPU模式相比，在LM Studio中開啟GPU offload後Meta Llama 3.2 1b Instruct的效能平均提升31%。Mistral Nemo 2407 12b Instruct等較大模型在token生成階段由於受到頻寬限制，平均效能提升5.1%。 我們觀察到在LM Studio中使用基於Vulkan的llama.cpp版本並開啟GPU offload時，與僅使用CPU的模式相比，競爭對手處理器除了其中一個模型外，其餘測試模型的平均效能皆明顯較低。因此，為了保持對比測試的公平性，我們沒有將Intel Core Ultra 7 258v在LM Studio中使用基於Vulkan之Llama.cpp的GPU-offload效能納入比較。 AMD Ryzen™ AI 300系列處理器還包括一項名為可變顯示記憶體（VGM）的功能。通常程式會利用為iGPU分配的512 MB專用記憶區塊，以及位於系統RAM「共享」部分的第二個記憶區塊。VGM讓使用者將512 MB的「專用」分配擴展到高達75%的可用系統RAM容量。這種連續記憶體的分配顯著提升了對記憶體敏感應用程式的吞吐量。 在開啟VGM（16GB）後，Meta Llama 3.2 1b Instruct的效能平均提升22%，與使用iGPU加速並結合VGM的CPU模式相比，平均速度共提升60%。Mistral Nemo 2407 12b Instruct等更大模型相較僅使用CPU的模式，帶來高達17%的效能提升。 同步比較：Mistral 7b Instruct 0.3
儘管競爭對手的筆電在LM Studio中使用基於Vulkan的Llama.cpp版本沒有提供加速，我們仍使用Intel AI Playground應用程式（基於IPEX-LLM和LangChain）來比較iGPU效能，力求在最佳的消費級LLM體驗之間進行公平的比較。 我們使用Intel AI Playground提供的模型，即Mistral 7b Instruct v0.3和Microsoft Phi 3.1 Mini Instruct。在LM Studio中使用可比較的量化後，我們發現AMD Ryzen™ AI 9 HX 375在Phi 3.1的速度比競爭對手快8.7%，在Mistral 7b Instruct 0.3的速度則快13%。 AMD致力於推進AI技術的發展，讓每個人皆能使用AI。若最新的AI進展被設置在高門檻的技術或編碼技能，這目標將無法實現，這就是為何LM Studio等應用如此重要。除了能夠快速且輕鬆地在本地部署LLM外，這些應用程式讓使用者在llama.cpp項目支援該架構的情況下，第一時間體驗最先進的模型。 AMD Ryzen™ AI加速器提供卓越效能，開啟VGM等功能可為AI使用案例提供更好的效能。所有因素結合起來後，為x86筆電上的語言模型提供了令人驚豔的使用者體驗。 欲親自體驗LM Studio，請參閱此連結。 - 新聞稿有效日期，至2024/12/08為止
聯絡人 ：Alicia
聯絡電話：077439137
電子郵件：AliciaWJ.Ho@eraogilvy.com
 上一篇：張俊傑：金融導師從國際回歸祖國將公益慈善進行到底
 下一篇：圓剛專注於AI創新 直播軟體與邊緣運算系統 雙獲2025台灣精品獎
|
