今日頭條Headline

目前今日頭條文章數，共 5687 篇，以下為 2401 - 2424 篇

科技新訊

AWS推出新一代Amazon SageMaker 為資料、分析和AI提供統一平台

亞馬遜（Amazon）旗下Amazon Web Services（AWS）在2024年re:Invent全球大會上，宣布推出新一代Amazon SageMaker，將客戶所需的快速SQL分析、PB級資料處理、資料探索和整合、模型開發和訓練、生成式人工智慧（AI）等功能統一到一個整合平台上。 AWS AI和資料全球副總裁Swami Sivasubramanian表示：「分析和AI正在融合，從歷史分析到ML模型訓練和生成式AI應用程式，客戶以越來越互連的方式使用資料。為了支援這些工作負載，許多客戶已經在使用我們專門建構的分析和ML工具組合，例如，已成為處理資料和建構ML模型業界標準的Amazon SageMaker、Amazon EMR、Amazon Redshift、Amazon Simple Storage Service（Amazon S3）資料湖和AWS Glue的組合。新一代Amazon SageMaker匯集這些功能，同時還加入了一些令人興奮的新功能，為客戶提供資料處理、SQL分析、ML模型開發和訓練、建構生成式AI所需的所有工具。」使用Amazon SageMaker Unified Studio更快地合作和建構如今，數十萬客戶使用Amazon SageMaker來建構、訓練和部署ML模型。許多客戶依賴AWS提供的一整套專門建構的分析服務來支援各種工作負載，包括SQL分析、搜尋分析、大數據處理和串流分析。越來越多的客戶不再單獨地使用這些工具，而是正在將分析、機器學習和生成式AI結合來獲取洞察，並為用戶提供新體驗。這些客戶將受益於統一的環境，匯集客戶熟悉的AWS分析、ML和生成式AI工具，不僅可以輕鬆使用所有資料，還能夠與團隊或組織的其他成員輕鬆合作處理專案。新一代Amazon SageMaker包括一個新的、統一的編輯器，為客戶提供單一的資料和AI開發環境，用戶可以在其中尋找和使用組織中的所有資料，為各種常見的資料應用案例選擇最佳的工具，並與不同團隊和角色合作，以擴展資料和AI專案。Amazon SageMaker Unified Studio整合了在Amazon Bedrock、Amazon EMR、Amazon Redshift、AWS Glue和現有Amazon SageMaker Studio中客戶喜歡使用的一系列獨立編輯器、查詢和視覺化功能與工具。這使客戶可以輕鬆使用這些功能來探索和準備資料、編寫需求或程式碼、處理資料以及建構ML模型。Amazon Q Developer能全程協助開發任務，包括資料探索、編寫程式碼、SQL生成和資料整合等。例如，用戶可以詢問Amazon Q：「我應該使用哪些資料來更了解產品銷售情況？」或「生成SQL來計算按照產品分類的總收入。」使用者可以安全地分享資料、模型、應用程式和其他成品，與團隊和組織成員共用，進而提升資料資產的易尋性和使用率。借助Amazon SageMaker Unified Studio中與Amazon Bedrock整合開發環境（IDE），用戶可以使用Amazon Bedrock精選的高效能基礎模型和工具（例如Agents、Guardrails、Knowledge Bases及Flows），快速、輕鬆地建構和部署生成式AI應用程式。Amazon SageMaker Unified Studio內建資料探索、共用和治理功能，因此分析師、資料科學家和工程師可以輕鬆搜尋和找到應用案例所需的正確資料，同時使用所需的安全控制和權限，確保掌握存取控制權，並保護資料安全。 NatWest Group是英國一家領先的銀行，為超過1900萬客戶提供服務，使用多種工具進行資料工程、SQL分析、ML和生成式AI工作負載。借助Amazon SageMaker Unified Studio，NatWest Group將在組織內打造一個統一的環境來支援這些工作負載，並預計資料使用者使用分析和AI功能所需的時間將減少50%，使員工花更少的時間管理多項服務，將更多的時間用於為客戶實現創新。透過Amazon SageMaker資料和AI治理滿足企業安全需求新一代Amazon SageMaker簡化了組織內資料和AI的探索、治理及合作。借助基於Amazon DataZone建構的Amazon SageMaker Catalog，管理員可以使用具有精細控制的單一許可模型，定義和實施一致的使用策略，跨團隊的資料工作人員便可以安全地探索和使用經過批准的資料和模型，這些資料和模型包含由生成式AI打造的業務上下文中繼資料。管理員可以輕鬆地定義和實施跨模型、工具和資料來源的權限，而客製化的安全措施有助於確保AI應用程式的安全性和合規性。客戶還可以透過Amazon SageMaker中的資料分類、毒性偵測（toxicity detection）、安全防護措施（guardrails）和負責任的AI策略來保護AI模型。 Amazon SageMaker Lakehouse減少資料孤島並統一資料如今，超過一百萬個資料湖建構在Amazon Simple Storage Service（Amazon S3）上，使客戶能夠集中資料資產，並透過AWS的分析、AI和ML工具獲取價值。資料湖使客戶能夠按原樣儲存資料，並輕鬆組合來自多個來源的資料。客戶的資料可能分布在多個資料湖以及資料倉儲中，客戶將受益於用一種簡單的方法統一所有資料。 Amazon SageMaker Lakehouse可統一使用儲存在Amazon S3資料湖、Redshift資料倉儲和聯合資料來源中的資料，包含不同的資料儲存方式和物理位置，減少資料孤島並讓查詢變得更容易。借助Amazon SageMaker中與Apache Iceberg相容的全新資料湖功能，客戶可以從Amazon SageMaker Unified Studio中，使用與Apache Iceberg開放標準相容的AI和ML工具以及查詢引擎，以使用和處理所有資料。現在，無論資料的儲存方式和儲存位置，客戶可以使用喜歡的分析和ML工具處理資料，以支援SQL分析、特定查詢（ad-hoc querying）、資料科學、ML和生成式AI的應用案例。Amazon SageMaker Lakehouse提供整合的精細存取控制，這些存取控制一致地應用於資料湖中所有分析和AI工具的資料，客戶只需定義一次權限，即可在整個組織中安全地共用資料。 Roche是製藥和診斷領域的領導者，致力於推動科學進步以改善人們的生活。Roche將使用Amazon SageMaker Lakehouse統一來自Amazon Redshift和Amazon S3資料湖的資料，以消除資料孤島，增強團隊之間的合作，並允許使用者無縫運用資料，無需昂貴的資料移動或重複的安全存取控制。借助Amazon SageMaker Lakehouse，Roche預計資料處理時間將減少40%，這幫助他們減少資料管理工作，能將更多的精力用於推動業務發展。全新零ETL整合SaaS應用程式，可快速、輕鬆地使用SaaS資料為了在營運中真正運用資料，企業需要能無縫使用所有資料，無論這些資料位於何處。這就是AWS不斷發展零ETL的原因，零ETL使資料整合不再是繁瑣的手動工作，客戶可以輕鬆地在需要的地方使用資料。Amazon Aurora MySQL和PostgreSQL、Amazon RDS for MySQL以及Amazon DynamoDB與Amazon Redshift的零ETL整合，能幫助客戶快速且輕鬆地使用Amazon Redshift和Amazon SageMaker Lakehouse中常用的關聯式和非關聯式資料庫中的資料，並用於分析和機器學習。除了營運資料庫和資料湖，許多客戶也將關鍵企業資料儲存在SaaS應用程式中，而客戶將受益於輕鬆使用這些資料進行分析和機器學習。客戶使用與SaaS應用程式整合的全新零ETL，將能輕鬆地使用Amazon SageMaker Lakehouse中的Zendesk和SAP等應用程式以及Amazon Redshift中的資料，並用於分析和AI。這消除了資料管道的需求，資料管道的建構本身就具有挑戰性且成本高昂，而且資料管道管理複雜，容易出錯而讓客戶無法及時獲得想要的洞察。整合SaaS應用程式的零ETL包含資料同步、檢測增量更新和刪除、合併目標的最佳實踐。來自不同產業、各種規模的組織，包括Infosys、Intuit和Woolworths，都已經受益於AWS的零ETL整合，無需建構和管理資料管道，即可快速且輕鬆地連接和分析資料。例如，透過整合SaaS應用程式的零ETL，線上房地產平台idealista能簡化資料擷取流程，無需多個管道來儲存合作廠商SaaS應用程式中的資料，使資料工程團隊能夠專注於從資料中獲得可執行的洞察，而不是建構和管理基礎設施。新一代Amazon SageMaker現已可用，Amazon SageMaker Unified Studio目前可供預覽，並即將可用。

文章來源 : 世紀奧美 發表時間 : 2024/12/12 瀏覽次數 : 6178 加入收藏 :

科技新訊

AWS升級Amazon Q Developer 借助生成式AI重塑軟體開發與營運

文章來源 : 世紀奧美 發表時間 : 2024/12/12 瀏覽次數 : 5388 加入收藏 :

科技新訊

AWS在Amazon Bedrock上推出100多個新模型、全新強大的推論和資料處理功能

亞馬遜（Amazon）旗下Amazon Web Services（AWS）在2024年re:Invent全球大會上，宣布推出Amazon Bedrock的多項創新功能。Amazon Bedrock是AWS一項全受管服務，旨在運用高效能基礎模型建構和擴展生成式人工智慧（AI）應用程式。此次發布進一步彰顯了AWS對模型選擇的承諾，同時優化大規模推論的執行方式，幫助客戶從資料中挖掘更多價值。Amazon Bedrock的全新功能也將協助客戶避免因模型幻覺（hallucination）造成的事實錯誤、協調多個AI驅動的代理以執行複雜任務，以及打造更小、特定任務導向的模型，以更低的成本和延遲提供與大型模型相近的效能。 AWS AI和資料全球副總裁Swami Sivasubramanian表示：「Amazon Bedrock服務持續快速增長，因為具備廣泛而領先的模型選擇、可輕鬆基於自身資料進行客製化的工具、內建的負責任AI功能以及開發複雜代理的能力，成為越來越多客戶的選擇。為了讓客戶充分釋放生成式AI的潛力，Amazon Bedrock一直致力於解決開發人員目前面臨的最大挑戰。透過本次新發布的一系列新功能，我們將幫助客戶開發出更智慧的AI應用程式，讓他們為最終用戶創造更大價值。」匯集領先AI公司的廣泛模型選擇 Amazon Bedrock為客戶提供豐富的全受管模型選擇，這些模型來自領先的AI公司，包括AI21 Labs、Anthropic、Cohere、Meta、Mistral AI以及Stability AI等。此外，Amazon Bedrock是客戶使用新發布的Amazon Nova模型的唯一管道。Amazon Nova是新一代基礎模型，以業界領先的性價比在多種任務上展現出頂尖智慧。透過本次發布，AWS在Amazon Bedrock上新增更多業界領先的模型，進一步擴展Amazon Bedrock的模型選擇範圍。 Luma AI的Ray 2：Luma AI的多模態模型和軟體產品借助生成式AI推動影片內容創作。AWS將成為首家向用戶提供Luma AI最先進的Luma Ray 2模型（其著名影片模型的第二代）的雲端服務供應商。Ray 2象徵生成式AI輔助影片創作的重大進步，它能夠根據文本和圖像高效生成電影級質感、逼真的高品質影片。用戶能夠快速嘗試不同的拍攝角度和風格，打造角色連貫、物理效果準確的影片，為建築、時尚、電影、平面設計以及音樂等領域提供創意成品。 poolside的malibu和point：poolside解決大型企業現代軟體工程面臨的挑戰。AWS將成為首家提供poolside的malibu和point模型使用權限的雲端服務供應商，這兩個模型在程式碼生成、測試、文件編製以及即時自動完成程式碼方面表現出色。這有助於工程團隊提高生產力，更快編寫出更優質的程式碼，並加速產品開發週期。這兩種模型還能夠根據客戶的程式碼庫、實際操作以及文檔進行安全、隱私的微調，使其能夠適應特定專案，幫助客戶以更高的準確性和效率處理日常軟體工程任務。此外，AWS還將成為首家提供poolside Assistant使用權限的雲端服務供應商，該功能可以將poolside的malibu和point模型強大的功能加入開發人員偏好的整合開發環境（IDE）中。 Stability AI的Stable Diffusion 3.5 Large：Stability AI是視覺媒體領域領先的生成式AI模型開發者，在圖像、影片、3D和音訊方面擁有先進的模型。Amazon Bedrock即將新增Stability AI最先進的文本轉圖像模型Stable Diffusion 3.5 Large。該模型能夠根據各種風格的文本描述生成高品質圖像，加速媒體、遊戲、廣告以及零售領域的客戶創造概念藝術、視覺效果以及詳細的產品圖像。透過Amazon Bedrock Marketplace使用100多個熱門、新興和專業模型儘管Amazon Bedrock中的模型能夠支援眾多任務，許多客戶仍希望將新興的專用模型融入到他們的應用程式中，以支援獨特的應用情況，例如分析財務文檔、生成新型蛋白質等等。如今，客戶能在Amazon Bedrock Marketplace上輕鬆地查找與選擇100多個模型，這些模型可部署在AWS上，並能透過Amazon Bedrock提供一致的使用體驗。這涵蓋了Mistral AI的Mistral NeMo Instruct 2407、Technology Innovation Institute的Falcon RW 1B以及NVIDIA NIM微服務等熱門模型，以及眾多專業模型，例如用於金融產業的Writer的Palmyra-Fin、用於翻譯的Upstage的Solar Pro、用於文本轉音訊的Camb.ai的MARS6、用於生物學的EvolutionaryScale的ESM3生成模型等。客戶一旦找到他們想使用的模型，就能根據自身的擴展需求選擇合適的基礎設施，並透過全受管端點輕鬆將其部署在AWS上。客戶隨後可將該模型與Amazon Bedrock統一的應用程式介面（API）安全整合，進而使用Guardrails和Agents等工具，並受益於內建的安全和隱私功能。 Zendesk是一家全球服務軟體公司，服務全球10萬個品牌的多元文化客戶群。Zendesk可以在Amazon Bedrock中使用用於翻譯的Widn.AI等專用模型，透過電子郵件、聊天、電話以及社群媒體對客服需求進行個人化和在地化處理。這將為客服人員提供所需的資料，例如客戶透過母語表達的情緒或用意等，最終提升客服體驗。提示詞快取和Intelligent Prompt Routing幫助客戶大規模處理推論問題在選擇模型時，開發人員需要權衡多種因素，如準確性、成本和延遲。優化其中任一因素，都可能要其他因素讓步。為了在應用程式部署到生產環境時平衡這些考量因素，客戶會採用多種技術，例如快取常用提示詞或將簡單問題分配給較小的模型。然而，運用這些技術既複雜又耗時，需要專業知識來反覆測試不同方法，以確保最終用戶獲得良好的體驗。正因如此，AWS新增了兩項功能，幫助客戶更有效地大規模管理提示詞資訊。透過快取提示詞功能降低回應延遲和成本：Amazon Bedrock現已支援安全地快取提示詞，進而減少重複處理，且不會影響準確性。對於支援的模型，此功能可將成本降低最高90%，並將延遲縮短最多85%。例如，律師事務所可以打造一個生成式AI聊天應用程式，用於回答律師有關文件的問題。當多名律師在提示詞中詢問關於文檔同一部分的問題時，Amazon Bedrock能夠快取該部分內容，使其只需要處理一次，之後每當有人想要詢問相關問題時，便可重複使用，透過減少模型每次需要處理的訊息量來降低成本。Adobe的Acrobat AI助理藉此實現快速的文檔摘要和問答功能，提高了用戶的工作效率。根據初步測試，借助Amazon Bedrock上的提示詞快取功能，Adobe發現回應時間縮短了72%。 Intelligent Prompt Routing功能有助於優化回應品質和成本：借助此功能，客戶能設定Amazon Bedrock自動把提示詞分配至同一模型系列裡的不同基礎模型，以優化回應品質和成本。運用先進的提示詞配對和模型理解技術，Intelligent Prompt Routing能夠預測每個請求對應的每個模型的效能，並將請求動態分配至最可能以最低成本提供所需回應的模型。Intelligent Prompt Routing可在不影響準確性的情況下，將成本降低多達30%。Argo Labs為餐廳提供創新的語音客服解決方案，透過Intelligent Prompt Routing處理各類客戶諮詢和訂位業務。當客戶提出問題、下單以及訂位時，Argo Labs的語音聊天機器人會動態地將查詢請求分配至最合適的模型，進而優化回應的成本和品質。例如「今晚這家餐廳有空位嗎？」這樣簡單的是非題，可以由較小的模型處理，而「這家餐廳提供哪些素食選項？」這類較複雜的問題則可由較大的模型來回答。借助Intelligent Prompt Routing功能，Argo Labs能夠運用語音客服無縫處理客戶互動，同時達成準確性和成本之間的平衡。 Amazon Bedrock知識庫的兩項新功能助力客戶最大程度發揮資料價值無論自身資料儲存於何處、採用何種格式，客戶都希望運用資料為最終用戶建構獨特的、生成式AI驅動的體驗。知識庫是一項全受管功能，客戶借助檢索增強生成（RAG），能夠輕鬆運用上下文和相關資料客製化基礎模型的回應。雖然知識庫已能便捷地連接至Amazon OpenSearch Serverless和Amazon Aurora等資料來源，但許多客戶還希望將其他資料來源和資料類型融入生成式AI應用程式中。因此，AWS為知識庫新增了兩項功能。支援結構化資料檢索功能以加速生成式AI應用程式開發：Knowledge Bases提供了首批受管式、可立即使用的RAG解決方案，使客戶能夠直接查詢生成式AI應用程式中結構化資料的儲存位置。此功能有助於打破資料來源之間的資料孤島，將生成式AI開發週期從一個多月縮短至幾天。客戶能夠建構應用程式，讓應用程式運用自然語言查詢Amazon SageMaker Lakehouse和Amazon S3資料湖、Amazon Redshift雲端資料倉儲等資料來源中的結構化資料。借助這項新功能，提示詞資訊會轉換為SQL查詢，用於檢索資料結果。Knowledge Bases會根據客戶的架構和資料自動調整，從查詢模式中學習，並提供一系列客製化選項，進一步提高針對所選的應用情況的準確性。信用情報公司Octus將運用Knowledge Bases中全新的結構化資料檢索功能，讓最終用戶使用自然語言查詢結構化資料。透過將Knowledge Bases與Octus現有的主要資料管理系統相連，最終用戶的提示詞資訊能轉換為SQL查詢，讓Amazon Bedrock運用這些SQL查詢檢索相關資訊，並作為應用程式回應的一部分回覆給用戶。這將幫助Octus的聊天機器人向用戶提供精準的、由資料驅動的洞察，提升使用者與公司一系列資料產品之間的互動。支援GraphRAG功能以生成更具相關性的回應：知識圖譜讓客戶透過將相關資訊映射成網狀結構，來針對資料間的關係進行建模和儲存。將這些知識圖譜融入RAG時會格外有用，系統可依據圖譜輕鬆審閱並檢索相關資訊片段。如今，由於支援GraphRAG，Knowledge Bases讓客戶無需具備圖形資料庫的專業知識，即可使用Amazon Neptune圖形資料庫服務自動生成知識圖譜，並跨資料連接實體之間的關係。Knowledge Bases能夠更便捷地生成更準確、更相關的回應，借助知識圖譜關連性，查看根源資訊以了解模型如何得出特定回應。BMW集團將在旗下的My AI Assistant（MAIA）使用GraphRAG。MAIA是一款AI驅動的虛擬助理，可幫助用戶尋找、了解並整合託管在AWS上的公司內部資料資產。借助由Amazon Neptune支援的GraphRAG自動化圖形建模功能，BMW集團能夠依據資料使用情況，持續更新MAIA所需的知識圖譜，從資料資產中提供更相關且全面的洞察，進而持續為數百萬車主打造優質體驗。 Amazon Bedrock Data Automation將非結構化多模態資料轉換為結構化資料，用於生成式AI和分析如今，大多數企業資料都是非結構化的，這些資料位於文檔、影片、圖像以及音訊等內容中。許多客戶希望運用這些資料挖掘洞察或為客戶打造新體驗，但將資料轉換為便於分析或RAG所需的格式往往是艱難的人工過程。例如，銀行在處理貸款業務時可能會收到多個PDF文檔，需要從每個文檔中擷取資訊，統一姓名、出生日期等資料的寫法，然後將結果轉換為文字，再輸入資料倉儲進行分析。借助Amazon Bedrock Data Automation，客戶能夠使用單個API從非結構化內容中大規模自動擷取、轉換並生成資料。 Amazon Bedrock Data Automation能夠快速且具成本效益地從文檔、圖像、音訊以及影片中擷取資訊，並轉換為結構化格式，適用於智慧文檔處理、影片分析以及RAG等應用。此功能可以使用預先定義的預設設定生成內容，例如影片片段每個場景的描述或音訊的逐字內容，客戶也可以根據自身的資料架構生成客製化的輸出內容，並將其輕鬆載入到現有的資料庫或資料倉儲中。透過與Knowledge Bases整合，Amazon Bedrock Data Automation還可以解析內容來支援RAG應用程式，透過整合嵌入在圖像和文本中的資訊，提升結果的準確性和相關性。同時，此功能提供信心分數，並基於原始內容生成回應，有助於降低生成幻覺的風險，並提高透明度。 Symbeo是一家隸屬於CorVel的公司，提供自動化應付帳款解決方案。Symbeo計畫運用Amazon Bedrock Data Automation，從複雜的文檔（如保險理賠、醫療帳單等）中自動擷取資料。這將幫助Symbeo團隊更快速地處理理賠事務，並縮短向客戶回覆的處理時間。數位資產管理平台Tenovos使用Amazon Bedrock Data Automation在大規模語義搜尋中提升內容的重複使用率50%以上，節省了數百萬美元的行銷費用。 Amazon Bedrock Marketplace現已正式可用，同時Amazon Bedrock Knowledge Bases中的推論管理功能、結構化資料檢索、GraphRAG以及Amazon Bedrock Data Automation均已可供預覽。此外，Luma AI、poolside和Stability AI的模型也即將上線。 AWS強化Amazon Bedrock，推出業界首創的AI防護、全新代理以及模型客製化功能 Swami Sivasubramanian表示：「Amazon Bedrock已成為客戶將生成式AI變成應用程式和業務核心的必備工具。在過去一年中，Amazon Bedrock的客戶群成長了4.7倍。隨著時間推移，生成式AI改變更多公司和客戶體驗，推論將成為每個應用程式的核心。隨著這些新功能的推出，我們正在代表客戶進行創新，以解決整個產業將生成式AI應用程式推進到生產時面臨的主要挑戰，例如模型幻覺和成本。」透過Amazon Bedrock Guardrails，Amazon Bedrock能藉由自動推理檢查驗證事實回應的準確性、產生可稽核的輸出，並向客戶顯示模型得出結果的確切原因。這提高了透明度，並確保模型回應符合客戶的規範和政策。而在Amazon Bedrock中使用多代理合作，客戶可以為專案的特定步驟打造和分配專門的代理來獲得更準確的結果，並透過協調多個代理平行工作來加速任務。模型蒸餾技術則是在客戶提供範例提示詞後，由Amazon Bedrock完成所有回應生成並微調較小的模型。這為客戶提供了一個具有大型模型的相關知識和準確性，但兼具小型模型速度和成本的模型，使其成為生產應用的理想選擇。

文章來源 : 世紀奧美 發表時間 : 2024/12/12 瀏覽次數 : 5229 加入收藏 :

科技新訊

AWS宣布AWS Trainium2執行個體正式可用

亞馬遜（Amazon）旗下Amazon Web Services（AWS）在2024年re:Invent全球大會上，宣布基於AWS Trainium2的Amazon Elastic Compute Cloud（Amazon EC2）Trn2執行個體正式可用，並推出全新的Amazon EC2 Trn2 UltraServers，讓用戶以卓越的性價比訓練和部署最新的人工智慧（AI）模型，以及未來的大型語言模型（LLM）和基礎模型（FM）。此外，AWS還揭露了新一代AWS Trainium3晶片的計畫。與目前基於GPU的EC2 P5e和P5en執行個體相比，Amazon EC2 Trn2執行個體的性價比提升30-40%。它配備16個Trainium2晶片，可提供高達20.8 Petaflops浮點運算力的效能，非常適合訓練和部署具有數十億參數的大型語言模型。全新推出的Amazon EC2 Trn2 UltraServers伺服器機型配備64個相互連接的Trainium2晶片，採用NeuronLink超高速互連技術，可提供高達83.2 Petaflops浮點運算力，其運算、記憶體和網路能力是單一執行個體的四倍，能夠支援訓練和部署超大規模的模型。 AWS攜手Anthropic正打造名為Project Rainier的EC2 UltraCluster，使用數十萬顆Trainium2晶片，所達到的超級運算力比他們目前一代領先AI模型訓練所需運算力高出五倍以上。 AWS揭露了新一代AI晶片Trainium3的計畫，幫助客戶更快速地建構更大規模的模型，並在部署時提供更好的即時效能。 AWS運算與網路服務副總裁David Brown表示：「AWS Trainium2是專為支援大型、前沿的生成式AI工作負載而設計的，能夠滿足訓練和推論的需求，並在AWS上提供卓越的性價比。隨著模型參數接近萬億，我們意識到客戶需要一種創新的方法來高效訓練和運行規模龐大的工作負載。在AWS上，全新的Amazon EC2 Trn2 UltraServers提供超快速的訓練和推論效能，幫助各類企業以更快的速度和更低的成本訓練和部署世界上最大的模型。」隨著模型規模的不斷擴大，客戶希望縮短訓練時間和推論延遲，這對運算和網路基礎設施提出了更高的要求。AWS已提供廣泛的Amazon EC2加速執行個體選擇，包括基於GPU和機器學習晶片的執行個體。然而，即使是目前最快的加速執行個體，客戶仍希望實現更高的效能和更大的可擴展性，以更低的成本更快地訓練這些日益複雜的模型。隨著模型複雜性和資料量的增加，因為平行處理的限制，單純擴大叢集規模已無法有效縮短訓練時間。同時，即時推論的需求也超出了單執行個體架構的負載能力。 Amazon EC2 Trn2執行個體為深度學習和生成式AI提供卓越效能與目前基於GPU的EC2執行個體相比，Amazon EC2 Trn2的性價比提升30%至40%。單個Trn2執行個體使用了16個Trainium2 晶片，透過NeuronLink超快速高頻寬、低延遲的晶片之間的互連，可提供高達20.8 Petaflops浮點運算力，非常適合訓練和部署數十億參數的模型。 Amazon EC2 Trn2 UltraServers滿足全球超大型模型日益增長的AI運算需求對於需要更強運算力的超大型模型，Amazon EC2 Trn2 UltraServers使客戶能夠突破單個Trn2執行個體的限制進行擴展，進而減少訓練時間，加快產品上市的速度，實現快速反覆運算以提高模型準確性。作為全新的EC2產品，Trn2 UltraServers利用NeuronLink超高速互連將四個Trn2伺服器連接為一個巨型伺服器。客戶透過全新Trn2 UltraServers，可以在64個Trainium2晶片上擴展他們的生成式AI工作負載。在推論工作負載方面，客戶可以使用Trn2 UltraServers提升生產環境中萬億參數模型的即時推論效能。AWS正在與Anthropic共同建構一個名為Project Rainier的EC2 UltraCluster運算叢集，該叢集由Trn2 UltraServers組成，能夠在數十萬個Trainium2晶片之間透過第三代低延遲的PB級EFA網路進行分散式模型訓練，其運算能力比Anthropic目前一代領先AI模型訓練所需運算力高出5倍以上。該專案完成後，預計將成為全球最大可用的AI運算叢集，供Anthropic建構和部署未來模型使用。 Anthropic專注於AI安全和研究，致力於打造可靠、可判斷和可控的AI系統。Anthropic的旗艦產品Claude是全球數百萬使用者信賴的大型語言模型。作為Anthropic與AWS深化合作的一部分，Anthropic已開始優化Claude模型，以在亞馬遜最先進的AI硬體Trainium2上運行。Anthropic將使用數十萬個Trainium2晶片，該規模是其之前叢集的五倍以上，為在Amazon Bedrock上使用Claude的客戶提供卓越的效能表現。 Databricks Mosaic AI使企業能夠建構和部署高品質的代理系統。該系統基於資料湖原生架構，用戶可以輕鬆、安全地使用企業資料客製化模型，從而提供更準確和特定領域的輸出。受益於Trainium的高效能和成本效益，客戶能夠以較低的成本在Mosaic AI上擴展模型訓練。隨著全球客戶對Mosaic AI需求的不斷增長，Trainium2的推出將為Databricks及其客戶帶來強大優勢。作為全球最大的資料和AI公司之一，Databricks計畫使用Trainium2為客戶提供更好的效能，並將總體擁有成本（TCO）降低多達30%。 Hugging Face是全球領先的AI開發者開源平台，擁有超過200萬個模型、資料集和AI應用程式，其用戶社群涵蓋了超過500萬名研究人員、資料科學家、機器學習工程師和軟體開發人員。在過去幾年中，Hugging Face與AWS合作，幫助開發人員透過Optimum Neuron開源庫體驗AWS Inferentia和AWS Trainium的效能與成本優勢。該開源庫已整合到Hugging Face Inference Endpoints中，並在新的HUGS自行部署服務中進行了優化，用戶可以在AWS Marketplace使用。隨著Trainium2的發布，Hugging Face用戶將享受更高的效能，進而更快地開發和部署模型。 poolside致力於建構一個由AI驅動的世界，以推動有經濟價值的工作和科學進步。他們相信，軟體發展將成為神經網路中第一個達到人類智慧水準的重要能力。為此，poolside正在打造基礎模型、API和助理應用，以將生成式AI的優勢帶給開發者。而實現這一目標的關鍵在於他們建構和運行產品所用的基礎設施。借助AWS Trainium2，poolside的客戶將獲得優於其他AI加速器的性價比來擴展服務。此外，poolside計畫使用Amazon EC2 Trainium2 UltraServers訓練未來的模型，這將比使用Amazon EC2 P5執行個體預計可節省40%的成本。 AWS Trainium3晶片，專為新一代前沿生成式AI工作負載的高效能需求而設計 AWS揭露了新一代AI訓練晶片AWS Trainium3的計畫。Trainium3是AWS首款採用3奈米工藝製造的晶片，在效能、能效和密度上樹立了新標準。搭載Trainium3的UltraServers效能預計將是Trn2 UltraServers的四倍，使客戶在建構模型時能夠更快地反覆運算，並在部署時提供卓越的即時效能。首批基於Trainium3的執行個體預計將在2025年末上線。 AWS Neuron Software助力客戶充分發揮Trainium2效能 AWS Neuron SDK包括編譯器、執行庫和工具，幫助開發者優化模型以在Trainium上運行。它讓開發者具有在Trainium晶片上優化模型以獲得最佳效能的能力。它與JAX和PyTorch等熱門框架原生整合，使客戶在Trainium上使用現有程式碼和工作流程時只需進行少量程式碼修改。同時，Neuron支援Hugging Face模型庫中超過10萬個模型。透過Neuron Kernel Interface（NKI），開發人員可以直接使用裸機的Trainium晶片，編寫運算核心以最大限度地提升運算密集型工作負載的效能。 AWS Neuron旨在簡化使用JAX等熱門框架在Trainium2上訓練和部署模型，同時儘量減少程式碼更改和對特定供應商解決方案的依賴。Google支援AWS透過其原生的OpenXLA整合，使客戶能夠使用JAX進行大規模訓練和推論，提供簡單靈活的程式碼路徑，幫助使用者快速上手Trn2執行個體。隨著業界廣泛的開源合作，以及Trainium2的推出，Google預計JAX在機器學習社群的應用將顯著增加，這將成為整個機器學習生態系統的重要里程碑。目前，Amazon EC2 Trn2執行個體在美國東部（俄亥俄）區域已正式可用，其他區域也即將推出。Amazon EC2 Trn2 UltraServers目前可供預覽。

文章來源 : 世紀奧美 發表時間 : 2024/12/12 瀏覽次數 : 5280 加入收藏 :

科技新訊

亞馬遜推出新一代基礎模型Amazon Nova

亞馬遜在2024年AWS re:Invent全球大會上，宣布推出新一代基礎模型Amazon Nova，這些模型在多種任務上展現出頂尖智慧，且具備業界領先的性價比。Amazon Nova模型將在Amazon Bedrock中提供，包括超快速文本生成模型Amazon Nova Micro，以及能夠處理文本、圖像和影片並生成文本的多模態模型Amazon Nova Lite、Amazon Nova Pro和Amazon Nova Premier。此外，亞馬遜還推出了兩個全新模型——用於生成高品質圖像的Amazon Nova Canvas和用於生成高品質影片的Amazon Nova Reel。亞馬遜通用AI資深副總裁Rohit Prasad表示：「在亞馬遜內部，我們約有1,000個生成式人工智慧（AI）應用正在進行中，因此可以全面了解開發者所面臨的挑戰。我們的新一代Amazon Nova模型旨在幫助內外部開發者應對這些挑戰，提供強大的智慧和內容生成功能，並在延遲、成本效益、客製化、檢索增強生成（RAG）和智慧代理（agentic）等方面取得顯著進展。」 Amazon Nova理解模型展現出卓越的智慧、能力與速度 Amazon Nova包含四款先進的模型。Amazon Nova Micro是一款僅處理文本的模型，能夠以極低的延遲和成本提供回應；Amazon Nova Lite是一款極具成本效益的多模態模型，能夠快速處理圖像、影片和文本輸入；Amazon Nova Pro是一款功能強大的多模態模型，可在準確性、速度和成本之間實現絕佳平衡，適合多種任務；Amazon Nova Premier是亞馬遜的頂級多模態模型，專為複雜推論任務而生，並將其作為蒸餾客製化模型（distilling custom models）的最佳典範模型（teacher model）使用。目前，Amazon Nova Micro、Amazon Nova Lite和Amazon Nova Pro已全部正式可用，Amazon Nova Premier預計將在2025年第一季度可用。亞馬遜對Amazon Nova模型進行了廣泛的業界基準測試。結果表明，Amazon Nova Micro、Amazon Nova Lite和Amazon Nova Pro在各自類別中與最佳模型相比均表現得相當有競爭力。 Amazon Nova Micro在11項適用基準測試中，其表現與Meta的LLaMa 3.1 8B相當或更優，而在12項適用基準測試中，其表現也與Google Gemini 1.5 Flash-8B持平或更優。憑藉每秒210個輸出token的業界領先速度，Amazon Nova Micro非常適合需要快速回應的應用場景。 Amazon Nova Lite在同類模型中同樣具備強勁競爭力。與OpenAI的GPT-4o mini相比，它在19項基準測試中有17項表現持平或更優；與Google的Gemini 1.5 Flash-8B相比，在21項基準測試中也有17項表現相當或更優；與Anthropic的Claude Haiku 3.5相比，則在12項基準測試中有10項表現相當或更優。除了在文本基準測試中展現出色的準確性外，Amazon Nova Lite在影片、圖表和文檔理解方面也表現突出，這一點透過VATEX、ChartQA和DocVQA等基準測試得到了證明。此外，Amazon Nova Lite在代理工作流程上也表現優異，如在Berkeley Function Calling Leaderboard上的函式呼叫能力，以及在理解視覺元素以在瀏覽器和電腦螢幕上執行操作的核心能力方面表現出色，這一點在VisualWebBench（網頁瀏覽器操作基準測試）和Mind2Web（通用多模態代理基準測試）得到證明。 Amazon Nova Pro在與OpenAI的GPT-4o的20項基準測試中，有17項表現相當或更優；在與Google的Gemini 1.5 Pro的21項基準測試中，有16項表現持平或更優；在與Anthropic的Claude Sonnet 3.5v2的20項基準測試中，有9項表現相當或更優。除了在文本和視覺智慧基準測試中的準確性外，Amazon Nova Pro在遵循指令和多模態代理工作流程方面也表現出色，相關測試包括綜合RAG（Comprehensive RAG Benchmark）、Berkeley Function Calling Leaderboard和Mind2Web。多語言和多模態支援，具備長上下文處理能力 Amazon Nova Micro、Lite和Pro支援200多種語言。Amazon Nova Micro支援128K輸入token的上下文長度，而Amazon Nova Lite和Pro的上下文長度可達300K token，處理影片時長可達30分鐘。到2025年初，亞馬遜將支援超過200萬輸入token的上下文長度。快速且具有成本效益 Amazon Nova模型快速、具有成本效益，且設計上易於與客戶的系統和資料無縫整合。Amazon Nova Micro、Lite和Pro在各自的智慧類別中，成本比Amazon Bedrock中表現最佳的模型至少便宜75%，同時也是Amazon Bedrock中對應類別速度最快的模型。與Amazon Bedrock的無縫整合所有Amazon Nova模型均已與Amazon Bedrock整合。Amazon Bedrock是一項全受管服務，透過單一API提供來自領先AI公司的高效能模型。客戶可以輕鬆試用和評估Amazon Nova模型及其他模型，找到最適合其應用的模型。支援微調以提升準確性這些模型還支援自訂微調，允許客戶根據自身專有資料中的已標記範例來提升準確性。Amazon Nova模型能夠從客戶的資料（包括文本、圖像和影片）中學習最重要的資訊，隨後Amazon Bedrock會訓練一個專屬的微調模型，以提供客製化回應。蒸餾用於訓練更小、更高效的模型除了支援微調外，這些模型還支援蒸餾，可以將規模更大、實力更強的「典範模型」中的特定知識轉移到更小的模型上，從而實現更高的精確度、更快的回應速度以及更低的營運成本。基於資料回應的檢索增強生成（RAG） Amazon Nova模型與Amazon Bedrock知識庫緊密整合，專注於檢索增強生成（RAG）方法，使客戶能夠透過利用自身的資料確保生成內容的高度準確性和相關性。針對代理應用進行優化 Amazon Nova模型經過優化，便於代理應用在執行多步驟任務時透過多個API與企業的專有系統和資料進行互動。借助Nova創意內容生成模型，取得生產級視覺內容 Amazon Nova Canvas是一款先進的圖像生成模型，能夠根據輸入的文本或圖像生成專業級的視覺內容。它提供了便捷的編輯功能，使用者可以透過文本輕鬆調整圖像，控制顏色組合和佈局。該模型內建的安全控制措施確保安全和負責任地使用AI，包括浮水印功能，能夠追溯每張圖像的來源；以及內容審核功能，限制可能產生的有害內容。根據合作廠商的對比評估，Amazon Nova Canvas在效能上優於OpenAI的DALL-E 3和Stable Diffusion，並在關鍵的自動化指標上表現出色。 Amazon Nova Reel是一款先進的影片生成模型，能夠幫助客戶輕鬆以文本和圖像打造高品質影片，適用於廣告、行銷和培訓等內容創作。客戶可以使用自然語言提示控制視覺風格和節奏，包括鏡頭移動、旋轉和縮放。根據合作廠商的評估，Amazon Nova Reel在品質和一致性上優於同類模型，客戶更傾向於選擇由其生成的影片，而非Runway的Gen-3 Alpha生成的影片。與Amazon Nova Canvas一樣，Amazon Nova Reel也具備內建的安全控制措施，包括浮水印和內容審核。目前，Amazon Nova Reel支援生成六秒的影片，未來幾個月將支援最長為兩分鐘的影片生成。下一步：語音到語音和多模態到多模態模型亞馬遜計畫在2025年第一季度推出Amazon Nova語音到語音模型。該模型旨在透過理解自然語言的即時語音輸入，解釋語言和非語言訊號（如語調和節奏），提供流暢、接近真人的互動，徹底改變對話式AI應用，並確保低延遲的雙向交流。此外，亞馬遜還在開發一種新模型，能夠接受文本、圖像、音訊和影片作為輸入，並以任意模態生成輸出。這款具備本地多模態到多模態，即「任意到任意」模態能力的Amazon Nova模型預計將在2025年中旬推出。該模型將簡化應用程式開發，使同一模型能夠執行多種任務，如內容模態轉換、內容編輯，以及驅動能夠理解和生成所有模態的AI代理。 AWS的合作夥伴和客戶已開始使用Amazon Nova模型，從其強大功能和超高性價比中獲益 AWS的策略合作夥伴SAP正在將Amazon Nova模型整合到SAP AI Core生成式AI中心支援的大型語言模型（LLMs）家族中。藉此，開發者能夠為SAP的AI助理Joule打造新功能，並利用SAP資料中完整的業務上下文，安全地建構AI驅動的解決方案，從而實現自動化、個人化以及供應鏈規劃等進階功能。勤業眾信作為AWS的策略合作夥伴，致力於為全球各產業提供一流的生成式AI服務。勤業眾信深知，沒有一種AI解決方案和基礎模型能解決所有問題，認為Amazon Nova模型的進階客製化能力和提升的安全性將推動創新，為全球客戶帶來卓越的價值。亞馬遜致力於開發負責任的AI Amazon Nova模型內建安全和保護措施。亞馬遜還推出了AWS AI Service Cards，提供有關使用案例、局限性和負責任AI實踐的透明資訊。

文章來源 : 世紀奧美 發表時間 : 2024/12/12 瀏覽次數 : 5139 加入收藏 :

產經商業

摩爾斯微電子推出業界領先的Wi-Fi HaLow路由器HalowLink 1 樹立連網新標準

全球Wi-Fi HaLow晶片領導供應商摩爾斯微電子（Morse Micro）宣布推出首款Wi-Fi HaLow接入點參考設計—HaLowLink 1，擴展了該公司物聯網評估工具的套件。 HaLowLink 1旨在充分發揮Wi-Fi HaLow的潛力，作為一流的參考設計與評估平台，其在多功能的整合裝置中展現出Wi-Fi HaLow的廣泛覆蓋範圍、高速傳輸與低功耗連網特性。該產品由摩爾斯微電子與GL.iNet攜手開發，結合強大的硬體與直觀的使用者介面，簡化了Wi-Fi HaLow網路的設置。此強大的工具為全球製造商、電信業合作夥伴、系統整合商及開發人員提供一個即插即用的評估體驗與參考設計，將加速實現Wi-Fi HaLow商業化。靈活且功能強大的設計HaLowLink 1的核心採用搭載摩爾斯微電子的Wi-Fi CERTIFIED HaLow™ MM6108晶片的AzureWave AW-HM593模組，可為各類物聯網應用提供所需的廣泛覆蓋範圍和低功耗。HaLowLink 1支援1、2、4和8 MHz等多種頻寬，即使在廣闊的環境中也能確保穩定的的連線。其亦整合了聯發科技（Mediatek）的MT7621A雙核CPU與MT7603E 2x2 802.11n 2.4GHz Wi-Fi 4解決方案，進一步強化Wi-Fi HaLow與傳統Wi-Fi裝置間的無縫通訊。 HaLowLink 1提供廣泛的應用場景，展現其在支援Wi-Fi HaLow與傳統Wi-Fi網路方面的多功能性，包括：創建Wi-Fi HaLow網路：將HaLowLink 1作為接入點，為使用Wi-Fi HaLow連線的裝置建立Wi-Fi HaLow網路，並為現有的2.4 GHz和乙太網路裝置提供連線。將裝置連接至Wi-Fi HaLow網路：使用HaLowLink 1將傳統裝置連接至Wi-Fi HaLow網路，擴展其可用範圍。裝置可透過乙太網路、2.4 GHz Wi-Fi或USB連接到HaLowLink 1，並透過Wi-Fi HaLow傳送數據。擴展現有網路的範圍：若需將2.4 GHz Wi-Fi網路延伸至難以觸及的位置，可以將一台HaLowLink 1連接至中央網路，並於所需位置再安裝另一台HaLowLink 1作為延伸器，其將為裝置提供2.4GHz Wi-Fi和乙太網路連接，透過Wi-Fi HaLow將裝置連接回中央網路。虛擬線路：使用兩個HaLowLink 1裝置取代乙太網路線，透過Wi-Fi HaLow實現長距離的無線連接。僅需簡單的按鈕即可配對裝置，輕鬆完成設置。「HaLowLink 1不僅僅是一個Wi-Fi HaLow接入點，」摩爾斯微電子共同創辦人暨執行長Michael De Nil表示。「它是物聯網網路的突破，在一個緊湊且多功能的平台中實現卓越的覆蓋範圍和靈活性。憑藉摩爾斯微電子的HaLowLink 1，我們為物聯網和長距離連線樹立了新標準。透過與GL.iNet的合作，為開發者、OEM和系統整合商提供了一個直觀且強大的工具，用於建構和評估可擴展且能因應未來的網路，以滿足現今最具挑戰性的環境需求，並推動未來的物聯網創新。」 HaLowLink 1的豐富功能設計使其成為重新定義物聯網裝置可能性的強大解決方案，可支援從智慧家居應用到工業物聯網等各類場景。「GL.iNet很榮幸能與摩爾斯微電子合作推出HaLowLink 1，該產品真正展示出Wi-Fi HaLow的強大功能與潛力，」GL.iNet技術長Alfie Zhao表示。「透過結合我們在硬體設計方面的專業知識與摩爾斯微電子領先業界的Wi-Fi HaLow技術，我們打造一款兼具多功能性與卓越效能的解決方案。HaLowLink 1旨在滿足物聯網網路不斷演進的需求，我們期待看到它如何改變各產業的連網方式。」 HaLowLink 1現已開放透過摩爾斯微電子直接提供樣品給特定的一線OEM廠商與網路服務供應商（ISP）。該產品將於2025年第一季度起，以99美元的售價，透過Mouser平台供應給更廣泛的Wi-Fi HaLow開發者社群，以推動各類物聯網應用的創新。如需更多資訊，請至morsemicro.com/halowlink1。

文章來源 : 正平整合行銷股份有限公司 發表時間 : 2024/12/12 瀏覽次數 : 4221 加入收藏 :

緯穎選擇AWS Outposts 縮短90%全球智慧工廠部署時間

發表時間 : 2024/12/12

三軍總醫院胸腔外科於2024醫療科技展引領技術創新，正式發布革命性肺癌血液檢測研究成果

發表時間 : 2024/12/12

在家吃魚吧！原產地標示與網路採買是今年海鮮產業新趨勢

發表時間 : 2024/12/12

《放置七騎士》攜手知名動畫《OVERLORD》推出聯名合作更新

發表時間 : 2024/12/12

浸沒式技術驅動AI世代，中華電信聯手Vertiv開創高效節能算力中心解決方案

發表時間 : 2024/12/12

【帝特設計】2024 HCA高定家居設計獎趙國豪、楊翊勇奪年度百大傑出榮銜

發表時間 : 2024/12/12

遠銀翻轉金融應用AI提供創新服務體驗

發表時間 : 2024/12/12

銀白色旋風刮進筆電、掌機、電競周邊！華碩聖誕好禮質感推薦

發表時間 : 2024/12/12

友訊榮獲TCSA三大獎與利害關係人共創淨正效益

發表時間 : 2024/12/12

菲律賓阿克蘭省官員訪台交流，赴金華苑品味台灣文化美饌，促進教育合作

發表時間 : 2024/12/12

聯電攜供應商減碳264萬噸大云永續雲AI助攻碳盤查

發表時間 : 2024/12/12

幸福暖胃，與菜豚屋共享濃郁歡聚！聖誕限定套餐溫馨上市

發表時間 : 2024/12/12

網石旗下策略小隊RPG《亞瑟王：傳奇崛起》推出全新英雄伊維雷特和多項遊戲內活動

發表時間 : 2024/12/12

AWS 讓 AI 使用門檻大幅下降！Amazon Bedrock 省錢神器讓企業節省90%

發表時間 : 2024/12/12

「綠領人才」正夯！掌握永續商機，新北青職基地開創最新課程

發表時間 : 2024/12/12

新北市青年局提供免費意外險「青年，好險有你」擴大年齡範圍優化申請管道

發表時間 : 2024/12/12

溢泰集團家用全戶型淨水器以創新設計榮獲2024年Good Design Awards

發表時間 : 2024/12/12

IG熱搜飲品！義美台灣好茶讓茶成特調靈魂

發表時間 : 2024/12/12

2025 年 5 月 19 日 (星期一) 農曆四月廿二日

A12 藝術空間

Bath Sponge, Shopping Bag, Cosmetic Bag Manufacturer - NETBRIDGE

關於 cookie 的說明

今日頭條Headline

新聞發佈/會員專區Member login