Makine Öğrenimi Modelleri: Tehlikeli Yeni Bir Saldırı Vektörü

Tehdit aktörleri, ilk ağ erişimini elde etmek, yanal olarak hareket etmek, kötü amaçlı yazılım dağıtmak, veri çalmak ve hatta bir kuruluşun tedarik zincirini zehirlemek için AI teknolojisi içindeki kodu silah haline getirebilir.

Araştırmacılar, tehdit aktörlerinin kötü amaçlı yazılım dağıtmak ve kurumsal ağlar arasında yanal olarak hareket etmek için yapay zekayı (AI) güçlendiren makine öğrenimi (ML) modellerini ele geçirebileceğini buldu. Genellikle halka açık olan bu modeller, aynı zamanda bir kuruluşun tedarik zincirini zehirleyebilecek bir dizi saldırı için yeni bir fırlatma rampası işlevi görür ve işletmelerin hazırlık yapması gerekir.

HiddenLayer’in SAI Ekibinden araştırmacılar, bir tehdit aktörünün kurumsal ağlara sızmak için neredeyse her modern yapay zeka destekli çözümün temelindeki karar alma sistemi olan makine öğrenimi modellerini nasıl kullanabileceğini gösteren bir kavram kanıtı (POC) saldırısı geliştirdiler. 6 Aralık’ta yayınlanan bir blog gönderisinde ortaya çıktılar . Araştırma, HiddenLayer’den düşman tehdidi araştırmasının kıdemli direktörü Tom Bonner’a atfedildi; Baş düşman tehdidi araştırmacısı Marta Janus; ve kıdemli düşman tehdidi araştırmacısı Eoin Wickens.

CompTIA’nın yakın tarihli bir raporu, ankete katılan CEO’ların %86’sından fazlasının, ilgili şirketlerinin 2021’de makine öğrenimini ana akım teknoloji olarak kullandığını söylediğini ortaya koydu. Gerçekten de, sürücüsüz arabalar, robotlar, tıbbi ekipman, füze güdüm sistemleri gibi geniş ve çeşitli çözümler , sohbet robotları, dijital asistanlar, yüz tanıma sistemleri ve çevrimiçi öneri sistemleri, çalışmak için makine öğrenimine güvenir.

Araştırmacılar, bu modelleri dağıtmanın karmaşıklığı ve çoğu şirketin sınırlı BT kaynakları nedeniyle, kuruluşların ML modellerinin dağıtımında genellikle açık kaynaklı model paylaşım havuzlarını kullandığını ve sorunun burada yattığını söyledi.

Gönderide, “Bu tür depolar genellikle, riski nihai olarak son kullanıcıya aktaran kapsamlı güvenlik denetimlerinden yoksundur ve saldırganlar buna güveniyor” diye yazdılar.

HiddenLayer’daki rakip makine öğrenimi araştırmacısı Marta Janus, Dark Reading’e, güvenilmeyen kaynaklardan veya genel model havuzlarından elde edilen önceden eğitilmiş makine öğrenimi modellerini kullanan herkesin potansiyel olarak risk altında olduğunu söylüyor.

“Ayrıca, güvenilir üçüncü taraf modellere güvenen şirketler ve bireyler, tedarik edilen modelin ele geçirildiği tedarik zinciri saldırılarına da maruz kalabilir” diyor.

Gelişmiş Saldırı Vektörü

Araştırmacılar, böyle bir saldırının PyTorch açık kaynak çerçevesine odaklanan bir POC’de nasıl çalışacağını ve ayrıca TensorFlow , scikit-learn ve Keras gibi diğer popüler makine öğrenimi kitaplıklarını hedef alacak şekilde nasıl genişletilebileceğini gösterdi .

Spesifik olarak, araştırmacılar, steganografiye benzer bir teknik kullanarak modelin ağırlıklarına ve önyargılarına çalıştırılabilir bir fidye yazılımı yerleştirdiler; yani, modelin nöral katmanlarından birinde her bir değişkenin en önemsiz bitlerini değiştirdiler, diyor Janus.

Daha sonra ekip, ikili dosyanın kodunu çözmek ve yürütmek için PyTorch/picle serileştirme biçiminde, isteğe bağlı Python modüllerinin yüklenmesine ve yöntemlerin yürütülmesine izin veren bir kusur kullandı. Janus, bunu, modelin dosyalarından birinin başına küçük bir Python betiği enjekte ederek ve ardından betiği çalıştırmak için bir talimat vererek yaptılar, diyor Janus.

“Komut dosyasının kendisi, tensörden gelen yükü yeniden oluşturur ve onu diske bırakmadan belleğe enjekte eder” diyor. “Kaçırılan model hala işlevsel ve doğruluğu bu değişikliklerin hiçbirinden gözle görülür şekilde etkilenmiyor.”

Araştırmacılar, ortaya çıkan silahlı modelin, antivirüs ve uç nokta algılama ve yanıt (EDR) çözümlerinden mevcut algılamadan kaçarken, etkinlikte yalnızca çok önemsiz bir kayıp yaşadığını söyledi. Aslında, mevcut, en popüler kötü amaçlı yazılımdan koruma çözümlerinin makine öğrenimi tabanlı tehditleri taramada çok az destek sağladığını veya hiç destek vermediğini söylediler.

Demoda araştırmacılar, Quantum fidye yazılımının 64 bitlik bir örneğini bir Windows 10 sistemine yerleştirdi, ancak herhangi bir ısmarlama yükün bu şekilde dağıtılabileceğini ve Windows, Linux ve Mac gibi farklı işletim sistemlerini hedeflemek üzere uyarlanabileceğini belirtti. x86/64 gibi diğer mimarilerin yanı sıra.

İşletme Riski

Bir saldırganın kuruluşları hedeflemek üzere makine öğrenimi modellerinden yararlanabilmesi için önce ele geçirmek istediği modelin bir kopyasını alması gerekir; bu, halka açık modeller söz konusu olduğunda, modeli bir web sitesinden indirmek veya bir siteden çıkarmak kadar basittir. kullanan bir uygulama.

Janus, “Olası senaryolardan birinde, bir saldırgan genel bir model deposuna (Hugging Face veya TensorFlow Hub gibi) erişim sağlayabilir ve meşru, zararsız bir modeli, yerleşik fidye yazılımını çalıştıracak Truva atı uygulanmış sürümüyle değiştirebilir” diye açıklıyor. “İhlal tespit edilmediği sürece, trojenleştirilmiş modeli indirip yerel bir makineye yükleyen herkes fidye alacak.”

Saldırgan, bu yöntemi, bir hizmet sağlayıcının tedarik zincirini ele geçirerek tüm hizmet abonelerine Truva Atlı bir model dağıtarak bir tedarik zinciri saldırısı gerçekleştirmek için de kullanabilir, diye ekliyor. Janus, “Kaçırılan model, daha fazla yanal hareket için bir dayanak sağlayabilir ve düşmanların hassas verileri sızdırmasına veya daha fazla kötü amaçlı yazılım dağıtmasına olanak sağlayabilir” diyor.

Araştırmacılar, bir işletme için ticari etkilerin değişkenlik gösterdiğini, ancak ciddi olabileceğini söyledi. Bunlar, bir ağın ilk güvenliğinin aşılması ve sonraki yanal hareketten fidye yazılımı, casus yazılım veya diğer kötü amaçlı yazılım türlerinin konuşlandırılmasına kadar uzanır. Saldırganlar verileri ve fikri mülkiyeti çalabilir, hizmet reddi saldırıları başlatabilir ve hatta bahsedildiği gibi tüm tedarik zincirini tehlikeye atabilir.

Azaltmalar ve Öneriler

Janus, araştırmanın internetten indirilen veya üçüncü bir tarafça sağlanan önceden eğitilmiş makine öğrenimi modellerini kullanan herhangi bir kuruluşa “güvenilmeyen herhangi bir yazılım gibi” davranması için bir uyarı olduğunu söylüyor.

Bu tür modellerin, fiziksel bir makinede çalıştırılmadan veya üretime alınmadan önce güvenli bir ortamda kapsamlı bir değerlendirmeye tabi tutulmasının yanı sıra, şu anda bu özelliği sunan çok az ürün olmasına rağmen, kötü amaçlı kodlara karşı taranması gerektiğini söylüyor.

Ayrıca, makine öğrenimi modelleri üreten herkes, güvenli depolama biçimlerini (örneğin, kod yürütülmesine izin vermeyen biçimler) kullanmalı ve tüm modellerini kriptografik olarak imzalamalı, böylece imza kırılmadan değiştirilemezler.

Janus, “Kriptografik imzalama, yazılımda olduğu gibi model bütünlüğünü sağlayabilir” diyor.

Genel olarak, araştırmacılar, bir kuruluşta dağıtılan herhangi bir makine öğrenimi modeli açısından riski anlama, kör noktaları ele alma ve iyileştirme alanlarını belirleme konusunda bir güvenlik duruşu üstlenmenin de bu vektörden gelen bir saldırıyı hafifletmeye yardımcı olabileceğini söyledi.

Kaynak:

https://www.darkreading.com/threat-intelligence/machine-learning-models-dangerous-new-attack-vector