亞馬遜(Amazon)旗下Amazon Web Services(AWS)在2024年re:Invent全球大會上,宣布推出Amazon Bedrock的多項創新功能。Amazon Bedrock是AWS一項全受管服務,旨在運用高效能基礎模型建構和擴展生成式人工智慧(AI)應用程式。此次發布進一步彰顯了AWS對模型選擇的承諾,同時優化大規模推論的執行方式,幫助客戶從資料中挖掘更多價值。Amazon Bedrock的全新功能也將協助客戶避免因模型幻覺(hallucination)造成的事實錯誤、協調多個AI驅動的代理以執行複雜任務,以及打造更小、特定任務導向的模型,以更低的成本和延遲提供與大型模型相近的效能。 AWS AI和資料全球副總裁Swami Sivasubramanian表示:「Amazon Bedrock服務持續快速增長,因為具備廣泛而領先的模型選擇、可輕鬆基於自身資料進行客製化的工具、內建的負責任AI功能以及開發複雜代理的能力,成為越來越多客戶的選擇。為了讓客戶充分釋放生成式AI的潛力,Amazon Bedrock一直致力於解決開發人員目前面臨的最大挑戰。透過本次新發布的一系列新功能,我們將幫助客戶開發出更智慧的AI應用程式,讓他們為最終用戶創造更大價值。」 匯集領先AI公司的廣泛模型選擇 Amazon Bedrock為客戶提供豐富的全受管模型選擇,這些模型來自領先的AI公司,包括AI21 Labs、Anthropic、Cohere、Meta、Mistral AI以及Stability AI等。此外,Amazon Bedrock是客戶使用新發布的Amazon Nova模型的唯一管道。Amazon Nova是新一代基礎模型,以業界領先的性價比在多種任務上展現出頂尖智慧。透過本次發布,AWS在Amazon Bedrock上新增更多業界領先的模型,進一步擴展Amazon Bedrock的模型選擇範圍。 透過Amazon Bedrock Marketplace使用100多個熱門、新興和專業模型 儘管Amazon Bedrock中的模型能夠支援眾多任務,許多客戶仍希望將新興的專用模型融入到他們的應用程式中,以支援獨特的應用情況,例如分析財務文檔、生成新型蛋白質等等。如今,客戶能在Amazon Bedrock Marketplace上輕鬆地查找與選擇100多個模型,這些模型可部署在AWS上,並能透過Amazon Bedrock提供一致的使用體驗。這涵蓋了Mistral AI的Mistral NeMo Instruct 2407、Technology Innovation Institute的Falcon RW 1B以及NVIDIA NIM微服務等熱門模型,以及眾多專業模型,例如用於金融產業的Writer的Palmyra-Fin、用於翻譯的Upstage的Solar Pro、用於文本轉音訊的Camb.ai的MARS6、用於生物學的EvolutionaryScale的ESM3生成模型等。
客戶一旦找到他們想使用的模型,就能根據自身的擴展需求選擇合適的基礎設施,並透過全受管端點輕鬆將其部署在AWS上。客戶隨後可將該模型與Amazon Bedrock統一的應用程式介面(API)安全整合,進而使用Guardrails和Agents等工具,並受益於內建的安全和隱私功能。 提示詞快取和Intelligent Prompt Routing幫助客戶大規模處理推論問題 在選擇模型時,開發人員需要權衡多種因素,如準確性、成本和延遲。優化其中任一因素,都可能要其他因素讓步。為了在應用程式部署到生產環境時平衡這些考量因素,客戶會採用多種技術,例如快取常用提示詞或將簡單問題分配給較小的模型。然而,運用這些技術既複雜又耗時,需要專業知識來反覆測試不同方法,以確保最終用戶獲得良好的體驗。正因如此,AWS新增了兩項功能,幫助客戶更有效地大規模管理提示詞資訊。 Amazon Bedrock知識庫的兩項新功能助力客戶最大程度發揮資料價值 無論自身資料儲存於何處、採用何種格式,客戶都希望運用資料為最終用戶建構獨特的、生成式AI驅動的體驗。知識庫是一項全受管功能,客戶借助檢索增強生成(RAG),能夠輕鬆運用上下文和相關資料客製化基礎模型的回應。雖然知識庫已能便捷地連接至Amazon OpenSearch Serverless和Amazon Aurora等資料來源,但許多客戶還希望將其他資料來源和資料類型融入生成式AI應用程式中。 Amazon Bedrock Data Automation將非結構化多模態資料轉換為結構化資料,用於生成式AI和分析 如今,大多數企業資料都是非結構化的,這些資料位於文檔、影片、圖像以及音訊等內容中。許多客戶希望運用這些資料挖掘洞察或為客戶打造新體驗,但將資料轉換為便於分析或RAG所需的格式往往是艱難的人工過程。例如,銀行在處理貸款業務時可能會收到多個PDF文檔,需要從每個文檔中擷取資訊,統一姓名、出生日期等資料的寫法,然後將結果轉換為文字,再輸入資料倉儲進行分析。借助Amazon Bedrock Data Automation,客戶能夠使用單個API從非結構化內容中大規模自動擷取、轉換並生成資料。 Amazon Bedrock Data Automation能夠快速且具成本效益地從文檔、圖像、音訊以及影片中擷取資訊,並轉換為結構化格式,適用於智慧文檔處理、影片分析以及RAG等應用。此功能可以使用預先定義的預設設定生成內容,例如影片片段每個場景的描述或音訊的逐字內容,客戶也可以根據自身的資料架構生成客製化的輸出內容,並將其輕鬆載入到現有的資料庫或資料倉儲中。透過與Knowledge Bases整合,Amazon Bedrock Data Automation還可以解析內容來支援RAG應用程式,透過整合嵌入在圖像和文本中的資訊,提升結果的準確性和相關性。同時,此功能提供信心分數,並基於原始內容生成回應,有助於降低生成幻覺的風險,並提高透明度。
- 新聞稿有效日期,至2024/12/31為止
聯絡人 :Belle 聯絡電話:77439148 電子郵件:belleyy.ke@eraogilvy.com
上一篇:AWS宣布AWS Trainium2執行個體正式可用
下一篇:AWS升級Amazon Q Developer
|