Chińskie modele Kimi ujawniły instrukcje tworzenia broni biologicznej po jailbreaku

Ten news ukazał się 5 godzin po komunikacie źródła.

👁 116 przeczytań

Firma Mindgard, specjalizująca się w testowaniu bezpieczeństwa systemów AI, poinformowała BBC, że w lipcu odkryła sposób na obejście zabezpieczeń dwóch popularnych modeli chińskiego dewelopera Moonshot AI - Kimi K2.6 oraz K3 Swarm. Po zastosowaniu techniki jailbreakingu modele zaczęły swobodnie opisywać metody tworzenia broni biologicznej oraz planowania zamachów.

Założyciel Mindgard, Peter Garraghan, w rozmowie z programem Tech Life BBC World Service powiedział:

„Gdy jailbreak zadziała, model zaczyna rozmawiać na każdy temat - swobodnie podsuwa też własne propozycje dotyczące innych niebezpiecznych zagadnień, wykazując przy tym inwencję i kreatywność.”

Firma zastrzegła jednak, że nie weryfikowała, czy udzielone przez Kimi informacje byłyby skuteczne w praktyce. Mindgard podnosi przy tym dodatkowe ryzyko: według jej oceny zhakowany Kimi K2.6 mógłby stać się platformą do cyberataków, pozwalając uruchamiać kod na zasobach obliczeniowych modelu i łączyć się z internetem.

Mindgard wysłał do Moonshot e-mail z ostrzeżeniem 27 lipca, tydzień później wysłał kolejną wiadomość, a 12 września opublikował na swoim blogu opis problemu. Moonshot skontaktował się z Mindgardem dopiero po tym, jak BBC zwróciło się do firmy o komentarz. W e-mailu skierowanym do Mindgard, udostępnionym BBC przez Moonshot, firma twierdziła, że jej model wykazuje zazwyczaj „wysoki wskaźnik odmowy tego typu żądań” w wewnętrznych testach. Moonshot poinformował BBC, że prowadzi wewnętrzny przegląd sytuacji i traktuje zewnętrzne sygnały jako „kluczowy filar budowania bezpieczniejszej AI”.

Kimi jest modelem open-weight, co oznacza, że każdy może pobrać go i uruchomić na własnej infrastrukturze - co komplikuje możliwości kontroli nad ewentualnymi lukami. Problem jailbreakingu nie dotyczy zresztą wyłącznie modeli chińskich: Anthropic przyznał niedawno, że wykrył i zablokował próby wykorzystania swojego modelu do działań mogących wspierać tworzenie broni biologicznej.