พบว่าตัวแทน AI หลักมีความอ่อนแอต่อการถูกแย่งควบคุม, ศึกษาพบ

บางส่วนของผู้ช่วย AI ที่ได้รับการนำมาใช้กันอย่างแพร่หลายที่สุดจาก Microsoft, Google, OpenAI และ Salesforce สามารถถูกแฮ็กโดยผู้โจมตีได้ด้วยการโต้ตอบน้อย ๆ หรือไม่ต้องโต้ตอบเลย ตามที่ การวิจัย ล่าสุดจาก Zenity Labs ได้ระบุไว้.

นำเสนอในการประชุม Black Hat USA ที่เกี่ยวกับความมั่นคงปลอดภัยไซเบอร์ ผลการค้นคว้าแสดงว่า แฮ็กเกอร์สามารถขโมยข้อมูล จัดการกระบวนการทำงาน และแม้กระทั่งปลอมแปลงตัวผู้ใช้ ในบางกรณี ผู้โจมตีสามารถได้รับ “ความยั่งยืนของหน่วยความจำ” ซึ่งทำให้สามารถเข้าถึงและควบคุมระยะยาวได้

“พวกเขาสามารถจัดการคำสั่งได้ ทำลายแหล่งความรู้ และเปลี่ยนแปลงพฤติกรรมของตัวแทนได้อย่างสิ้นเชิง” แกร็ก เซมลิน, ผู้จัดการการตลาดผลิตภัณฑ์ที่ Zenity Labs กล่าวกับ Cybersecurity Dive “สิ่งนี้เปิดประตูให้เกิดการสังหาร การรบกวนการทำงาน และการข้อมูลที่ผิดพลาดในระยะยาว โดยเฉพาะในสภาพแวดล้อมที่ตัวแทนได้รับความไว้วางใจในการตัดสินใจหรือสนับสนุนการตัดสินใจที่สำคัญ”

นักวิจัยได้สาธิตการโจมตีทั้งหมดแagainstากระบบ AI ขององค์กรชั้นนำหลายระบบ ในกรณีหนึ่ง ChatGPT ของ OpenAI ถูกโจมตีผ่านการฉีดคำสั่งทางอีเมล ทำให้สามารถเข้าถึงข้อมูล Google Drive ที่เชื่อมต่อได้

พบว่า Microsoft Copilot Studio ทำการรั่วไหลของฐานข้อมูล CRM โดยมีผู้แทนที่เสี่ยงต่อการโจมตีออนไลน์มากกว่า 3,000 คน แพลตฟอร์ม Einstein ของ Salesforce ถูกแก้ไขเพื่อเปลี่ยนทางการสื่อสารของลูกค้าไปยังบัญชีอีเมลที่อยู่ภายใต้การควบคุมของผู้โจมตี

ในระหว่างนี้ Gemini ของ Google และ Microsoft 365 Copilot สามารถถูกเปลี่ยนแปลงเป็นภัยคุกคามจากภายในที่สามารถขโมยการสนทนาที่ละเอียดอ่อนและแพร่กระจายข้อมูลที่เท็จจริง

นอกจากนี้ นักวิจัยยังสามารถหลอก AI Gemini ของ Google เพื่อควบคุมอุปกรณ์บ้านอัจฉริยะได้ เทคนิคการแฮ็คนี้สามารถปิดไฟ และเปิดม่าน และเริ่มทำงานของเครื่องทำน้ำร้อนโดยไม่ต้องมีคำสั่งจากผู้อยู่อาศัย

Zenity ได้เปิดเผยการค้นพบของตน ซึ่งทำให้บางบริษัทออกแพทช์เพื่อแก้ไข “เราขอขอบคุณความสำเร็จของ Zenity ในการระบุและรายงานเทคนิคเหล่านี้อย่างรับผิดชอบ” โฆษกของ Microsoft กล่าวกับ Cybersecurity Dive Microsoft กล่าวว่าพฤติกรรมที่ได้รับรายงาน “ไม่มีประสิทธิภาพอีกต่อไป” และว่าตัวแทนของ Copilot มีการป้องกันอยู่ในที่

OpenAI ยืนยันว่าได้แก้ไข ChatGPT และดำเนินการโปรแกรมรางวัลสำหรับการรายงานข้อผิดพลาด. Salesforce กล่าวว่าได้แก้ไขปัญหาที่รายงานมาแล้ว. Google กล่าวว่าได้มีการนำ “กลยุทธ์การป้องกันที่มีหลายชั้น” มาใช้ และย้ำว่า “การมีกลยุทธ์การป้องกันที่มีหลายชั้นต่อการโจมตีที่เกิดจากการสั่งการเข้าสู่ระบบเป็นสิ่งที่สำคัญ” ตามที่ Cybersecurity Dive รายงาน.

รายงานเน้นปัญหาความปลอดภัยที่เพิ่มขึ้นเมื่อ AI agents มีบทบาทมากขึ้นในสถานที่ทำงานและได้รับความไว้วางใจในการจัดการงานที่มีความละเอียดอ่อน.

ในการสืบสวนล่าสุด มีรายงานว่า แฮกเกอร์สามารถขโมยสกุลเงินดิจิทัลจาก Web3 AI agents โดยการปลูกความทรงจำปลอมที่สามารถลบล้างวัดการณ์ปกติได้

ข้อบกพร่องด้านความปลอดภัยนี้มีอยู่ใน ElizaOS และแพลตฟอร์มที่คล้ายคลึงกัน รวมถึงมีข้อบกพร่องในการโอนเงินระหว่างแพลตฟอร์มที่แตกต่างกัน โดยอาจจะใช้แอเจนต์ที่ถูกบุกรุก ลักษณะถาวรของการทำธุรกรรมบล็อคเชนทำให้เราไม่สามารถดึงเงินที่ถูกขโมยกลับมาได้ นอกจากนี้ยังมีเครื่องมือใหม่ที่ชื่อ CrAIBench มุ่งสู่การช่วยให้นักพัฒนาเครื่องมือเพิ่มการป้องกัน.