本網站使用瀏覽器紀錄 (Cookies) 來提供您最好的使用體驗，我們使用的 Cookie 也包括了第三方 Cookie。相關資訊請訪問我們的隱私權與 Cookie 政策。如果您選擇繼續瀏覽或關閉這個提示，便表示您已接受我們的網站使用條款。 關閉
作者: Palo Alto Networks 網路安全資深副總裁 Rich Campagna AI應用程式的快速整合為企業帶來了豐富的機會。這些智慧系統具有革新營運、推動創新以及提升生產力的潛力。隨著越來越多企業擁抱 AI 的力量，實現其完整潛力的關鍵要素在於建立健全的資安措施。透過主動處理資安考量，我們能夠營造一個值得信賴的環境，促進AI技術的安全且廣泛的採用。 在這個環境中，企業需要對AI工具通常用於訓練和推論等功能所存取的龐大資料進行控管。防護所有這些威脅的最佳方式是採用AI驅動的資安解決方案。能掌握 AI 安全的企業，也將在競爭中搶占先機。 AI採用的成長與相伴隨的風險 AI 的普及速度驚人，無論是生成式 AI（GenAI）還是資料分析工具，都正加速重塑各產業樣貌。根據麥肯錫顧問公司（McKinsey & Company）近期調查，超過 75% 的企業已在多項業務功能中部署 AI，足見其帶來的價值之巨大。 然而，如同任何強大的技術，負責任的導入才是關鍵。雖然 AI 的快速採用令人振奮，但這也需要我們更加關注其底層資料以及系統的安全性。若能將安全性融入 AI 開發與部署的每一個環節，企業便能在充分享受其帶來效益的同時，有效降低潛在風險。 底層資料的挑戰 隨著企業導入 AI，積極主動的資料管理策略變得至關重要。雖然像 Hugging Face 這樣的平台提供了大量的開源模型與資料集（截至目前為止，已有超過 150 萬個模型和 40 萬個資料集），但確保這些資訊的負責任與合乎倫理的使用仍然十分重要。例如，醫療資料集的開放就需特別注意，如同 HIPAA 等隱私法規，透過落實健全的資料治理機制，企業能夠更有效地應對這些複雜的挑戰。 同樣地，針對大型語言模型（LLMs）訓練資料的持續討論，也突顯了尊重智慧財產權的重要性。主動面對這些議題，有助於建立一個更具永續性且合法合規的 AI 生態系統。此外，雖然 Palo Alto Networks 的研究人員發現了惡意 AI 模型，提醒我們需提高警覺，但這也同時促進了相關資安解決方案的發展，以偵測並消除此類威脅。 需要更多控制 企業可以做什麼？暫緩導入 AI並非解答，無論這看起來多麼誘人。對於想要保持競爭力的現今企業來說，這根本不可行。 關鍵在於採取「從設計即安全」（secure by design）的理念。這意味著在 AI 應用程式開發的整個生命週期中融入安全考量，使開發人員與資料科學家能夠打造穩健且值得信賴的模型。一個全面的 AI 安全平台應涵蓋以下幾個關鍵領域： ● AI代理的安全（Security for AI agents） – 代理必須受到保護，免受新的代理威脅，如工具濫用、身份冒充和記憶體操縱。 ● AI模型掃描 （Scanning for AI models）– 主動掃描AI模型的漏洞，以便安全採用，將使您的AI生態系統免受反序列化攻擊、模型篡改、惡意腳本和其他風險。 ● 狀況管理（Posture Management）－深入了解 AI 生態系統中與安全狀況相關的風險，有助於避免因配置錯誤、敏感資料外洩或權限過度等問題所帶來的風險。 ● 執行階段安全（Runtime Security）－保護您的資料、AI 應用程式與由大型語言模型（LLMs）驅動的模型，免受執行期間可能出現的威脅，例如幻覺（hallucination）、有害內容、資源過載、提示注入（prompt injection）、敏感資料外洩與惡意程式碼等風險。 擊退 AI 引發的資料外洩風險 在 AI 的無人地帶裡，機會與威脅並存。由於未加保護的 AI 模型與資料集，一場大規模的資料外洩事件可能隨時爆發。面對這些風險，企業彷彿陷入進退兩難的境地—既無法忽視 AI 的潛力，又難以安心使用。但在競爭對手與攻擊者都已經積極運用 AI 的今天，AI 已不再是可有可無的選項。 AI 所帶來的好處無庸置疑，從加速應用程式開發、提升流程自動化，到顯著提高生產力，皆展現出其強大潛力。然而，若要真正實現這些優勢，從一開始就建立一個安全的基礎至關重要。請參考上述所提的最佳實務，打造一個穩固且安全的根基。如此一來，您將能夠在 AI 應用程式開發生命週期的每一階段確保安全，全面追蹤與監控員工對 AI 的使用情況，並隨時保護 AI 應用中所使用的資料，防止遺失或未經授權的存取。 關於 Palo Alto Networks Palo Alto Networks (納斯達克股票代碼：PANW)作為全球AI網路安全領導者，致力於透過持續創新，守護數位時代的生活與發展。受到全球超過70,000家企業和組織的信賴，Palo Alto Networks提供涵蓋網路、雲端、安全營運與人工智慧領域的全方位AI驅動資安解決方案，並結合Unit 42的威脅情報與專業團隊，全面強化防護能力。Palo Alto Networks專注推動資安平台化策略，協助企業在大規模運作中簡化安全管理，讓資安成為推動創新的關鍵動能。歡迎探索更多www.paloaltonetworks.com 。
2025 年2 月 13 日台北訊–Palo Alto Networks 威脅情報小組 Unit 42 發佈了一項最新研究，顯示來自中國某 AI 研究機構的開放原始碼大型語言模型（LLM）DeepSeek，存在明顯的越獄漏洞，並且可以輕易生成有害內容，即使使用者並不具備專業知識或技能。 越獄（Jailbreaking）是一種突破內建限制或“防護欄”技術，這些防護設計用來防止生成禁忌內容，這一直以來都是 AI 資安的挑戰。Unit 42 的研究人員已經識別出三種有效的方法，可以破壞 DeepSeek 的安全機制： ● Deceptive Delight：這是一種直接的多回合越獄技術，適用於大型語言模型（LLMs）。它透過將不安全的話題與無害的內容混合在正面敘事中來繞過安全措施。攻擊者首先要求 LLM 創建一個將這些話題聯繫在一起的故事，然後請求對每個元素進行詳述，這通常會觸發不安全內容的生成，即使是討論無害的元素。若加上針對不安全話題的第三個提示，則可進一步放大危險的結果。 ● The Bad Likert Judge：這種越獄技術通過讓 LLM 評估回應的危害性，並使用李克特量表（Likert scale）來衡量對某一陳述的同意或反對程度，來操縱 LLM。接著，LLM 被提示生成與這些評分一致的範例，其中評分最高的範例很可能包含所需的有害內容。 ● Crescendo：這是一種簡單卻非常有效的越獄技術，利用 LLM 自身的知識，通過逐步提供相關內容來引導對話，巧妙地將話題引向禁止的領域，直到模型的安全機制被有效繞過。這種逐步升級的方法通常在五次互動以內完成，使得Crescendo越獄非常有效，並且難以被傳統的越獄反制措施偵測到。 研究顯示，這些越獄技術可以提取明確的指導，供一系列惡意活動使用，包括資料竊取工具、鍵盤側錄器的創建，甚至是製作引爆裝置的指導。這些能力不僅凸顯了此類攻擊所帶來的實際資安風險，還強調了員工在業務流程中依賴未授權第三方大型語言模型（LLM）所帶來的危險。 Unit 42 的 DeepSeek 越獄研究顯示，我們不能總是信任 LLM 會按照預期運作——它們是可以被操控的，Unit 42 亞太及日本區副總裁暨執行合夥人 Philippa Cogswell 表示。「企業在將開源 LLM 應用於業務流程時，必須考慮這些漏洞。我們必須假設 LLM 的防護機制是可以被突破的，因此必須在組織層級建立防護措施。」 她進一步補充道：「隨著企業將這些模型應用於工作流程，我們必須假設威脅行為者也在做同樣的事——目標是加速網路攻擊的速度、規模與複雜度。我們已經看到國家級威脅行為者利用 OpenAI 和 Gemini 發動攻擊、改善釣魚詐騙誘餌，甚至編寫惡意程式。我們預期，隨著他們精進 AI 和 LLM 的使用，攻擊者的能力將愈加先進，甚至開始構建 AI 攻擊代理。」 儘管完全防範所有越獄技術仍具挑戰性，企業可透過監控 LLM 的使用來降低風險，特別是在使用未授權的第三方模型時。Palo Alto Networks 提供的解決方案，結合 Precision AI，旨在幫助企業減少來自公共生成式AI 應用的風險，同時繼續推動企業的 AI 採用。此外，Unit 42 的 AI 資安評估提供了一條加速創新、提升生產力和強化資安防護的途徑。 欲了解更多資訊，請點此。 關於Palo Alto Networks Palo Alto Networks是全球網路安全領導者，致力於透過創新來超越網路威脅，讓企業能夠充滿信心地擁抱技術。我們在全球為成千上萬個來自不同領域的組織提供新世代網路安全支援。Palo Alto Networks 一流的網路安全平台及服務以領先產業的威脅情報為後盾，並由最先進的自動化技術而強化。透過提供產品協助實現零信任企業、回應安全事件，或是與世界級的生態圈合作確保更好的安全成果，我們始終致力於幫助實現「每一天都比前一天更安全」的目標，而這正是Palo Alto Networks 成為最佳網路安全合作夥伴的原因。 在Palo Alto Networks，我們承諾匯集最優秀的人才，為達成上述的使命而努力。所以我們也很自豪地成為網路安全領域的首選工作場所，並在近期獲選為新聞周刊「最受歡迎工作場所」（Newsweek Most Loved Workplaces, (2023, 2022, 2021)）、在身心障礙平等指數上獲得100分（Disability Equality Index, (2023, 2022)），以及HRC 「最佳LGBTQ平等企業」（HRC Best Places for LGBTQ Equality, 2022）。如欲瞭解更多資訊，請造訪 http://www.paloaltonetworks.com/。
A12 藝術空間
palo alto network
請先登入後才能發佈新聞。
還不是會員嗎？立即 加入台灣產經新聞網會員 ，使用免費新聞發佈服務。 （服務項目） （投稿規範）
