Yeni bir araştırmaya göre siber suçlular, akıllı hoparlörleri ve yapay zeka asistanlarını ele geçirip kişisel bilgilere erişmek için ses ve video dosyalarındaki duyulmayan arka plan seslerini kullanabiliyor.
Modern sesli asistanlar, ses ve metni sıkı biçimde bütünleştiren büyük dil modelleri adı verilen yapay zeka araçlarıyla çalışıyor.
Araştırmalar, “jailbreak” (yazılım kısıtlamalarının kaldırılması -çn.) adı verilen zekice hazırlanmış komutların, yapay zeka asistanlarının yerleşik güvenlik yönergelerini ve etik kısıtlamalarını atlayabileceğini gösteriyor.
Hackerların yapay zeka sohbet botlarının nefret söylemi üretmek, siber saldırılara yardımcı olmak ve gizli bilgileri ifşa etmek gibi reddedecek şekilde programlandıkları istekleri yerine getirmelerini sağlamak için jailbreak’leri kullandığı biliniyor.
Çin ve Singapur’dan bir siber güvenlik araştırmacıları ekibi, metin komutlarının yaygın olarak incelenmesine rağmen, sesli jailbreak’lerinin güvenlik risklerinin ve yapay zeka sistemleri üzerindeki manipülatif etkilerinin yeterince incelenmediğini söylüyor.
İnsan kulağının algılayamadığı bu tür “düşmanca sesler”, yapay zeka modellerini normalde yapmamaları gereken görevleri yerine getirmeleri için kandırabilir. Araştırmacılar, arXiv’de yayımlanan ve henüz hakem değerlendirmesinden geçmemiş çalışmada, “Bu çalışmada işitsel komut enjeksiyonu adlı daha önce gözden kaçmış bir tehdidi ortaya koyuyoruz” diye belirtiyor.
Sesli jailbreak kullanan bilgisayar korsanları, yapay zeka modelinin davranışını ele geçirmek için gizlice sınırlı girdi sağlayabilir.
Araştırmacılar, bu tür bir saldırının metin tabanlı jailbreak’e göre daha kısıtlı olmasına rağmen “daha fazla zarar” verebileceğini söylüyor.
Araştırmacılar, akıllı hoparlörler gibi ses tabanlı yapay zeka modellerini ele geçirmek için algılanamayan sesler kullanan bir yöntem geliştirdi.
Audiohijack adını verdikleri bu yöntemi 13 ileri teknoloji ürünü ses tabanlı yapay zeka modeli üzerinde test ettiler ve çoğunun, kullanıcının verdiği komutlardan bağımsız olarak gizlice ve başarılı bir şekilde ele geçirilebildiğini buldular.
Araştırmacılar çalışmada, “Saldırı, basit komut reddinden karmaşık araç kötüye kullanımına kadar değişen yanlış davranışlara neden oluyor ve ortalama yüzde 79 ila yüzde 90 başarı oranlarına ulaşıyor” diyor.
“Düşmanca ses”, yapay zeka ajanlarını kötü amaçlı dosyaları indirmek ve kullanıcı bilgilerini e-posta yoluyla ifşa etmek dahil yetkisiz eylemler gerçekleştirmeye yönlendirebilir.
Araştırmacılar, yapay zekanın cihaz içi entegrasyonunun yaygınlaşması ve cep telefonlarıyla akıllı hoparlörler gibi elektronik cihazlarda geniş çapta kullanılmasıyla birlikte, “Bu yeni tehdit için özel bir savunma mekanizması bulunmadığı” konusunda uyarıyor.
Araştırmacılar, bulguların yapay zeka modellerinin ses-metin entegrasyonunda temel güvenlik açıklarını ortaya koyduğunu söylüyor.
Bu ortamlarda, işitsel komut yerleştirme, daha geniş çaplı güvenlik ihlallerine yol açmak için sistem bileşenleri ve üçüncü taraf uygulamalarla etkileşime girebilir.
Gelecekteki çalışmalar, bu tehdidin gerçek dünyadaki riskini daha iyi değerlendirmek için incelemeyi sistem düzeyindeki uygulamalara ve gerçek cihazlara genişletmeli.
