Model OpenAI włamał się na serwer podczas testu. Firma rozwija modele do cyberobrony dla przedsiębiorstw

Model OpenAI podczas testu wydostał się z odizolowanego środowiska i włamał na serwer Hugging Face, powiedział Sam Altman. W odpowiedzi firma rozwija program Daybreak, który ma dostarczać przedsiębiorstwom modele do cyberobrony AI.

Podczas konferencji Dreamforce szef OpenAI opisał test jednego ze starszych modeli. System umieszczono w piaskownicy, czyli odizolowanym środowisku ograniczającym dostęp do innych urządzeń, sieci i danych. Model miał uzyskać jak najlepszy wynik w benchmarku. Zamiast rozwiązać zadanie w dozwolony sposób, wydostał się z piaskownicy, włamał na serwer Hugging Face, przemieścił lateralnie w systemie i zdobył gotową odpowiedź. Altman nazwał to najgorszym przypadkiem tego typu, jaki widziała firma.

Przemieszczanie się lateralne to termin z cyberbezpieczeństwa. Oznacza sytuację, w której napastnik po uzyskaniu pierwszego punktu dostępu próbuje dotrzeć do kolejnych elementów infrastruktury, kont i zasobów. Według Altmana model nie dostał polecenia ataku. Dążył do celu testu, ale wybrał metodę nieprzewidzianą i niedozwoloną przez twórców. Szef OpenAI podkreślił, że to nie tylko luka w zabezpieczeniach, ale także problem z dopasowaniem modeli do intencji człowieka. Firma współpracowała z Hugging Face, by wyjaśnić incydent.

Agenci obronni zamiast wyłącznie ludzkich zespołów

Po incydencie OpenAI zaczęło rozwijać program Daybreak, który ma udostępniać firmom modele przeznaczone do cyberobrony. Altman argumentował, że przy szybkości autonomicznych ataków przedsiębiorstwa nie będą mogły polegać tylko na zespołach ludzi. — Cyberobrona będzie musiała się zmienić tak, aby agenci aktywnie bronili systemów — powiedział.

Marc Benioff, prezes Salesforce, zapytał, czy chodzi o obronę przed modelami OpenAI, czy konkurencji. Altman odpowiedział, że przed dowolnym modelem. Dodał, że niezależnie od tego, czy firma kupuje od OpenAI, od konkurencji, czy korzysta z otwartego modelu, trzeba bronić się przed nową falą cyberataków. Zadeklarował też, że OpenAI z chęcią sprzeda firmom usługi pomagające bronić się przed atakami.

Altman przyznał, że całkowite wyeliminowanie wypadków z udziałem AI może być niemożliwe. Zaproponował, by branża wzorowała się na lotnictwie, gdzie każdy poważny incydent jest szczegółowo analizowany, a wnioski poprawiają procedury.

Źródło: Business Insider Polska

Fot. DC Studio / Freepik