LLM зламала сайт

Тестуючи можливості LLM Gemini, розробники відкрили їй доступ до інтернету. Після цього вона зламала три сторонні компанії, пише CNN, це стало першим відомим прикладом автономного злому з боку моделі Google.

Інцидент стався в травні під час перевірки кібербезпеки під керуванням незалежної компанії Irregular. Під час тестування Gemini виявила загальнодоступну інформацію в інтернеті та підібрала облікові дані для доступу до трьох вебсайтів, які, на її думку, входили до сфери тестування.

В одному з випадків модель Gemini підбирала паролі, доки не отримала доступ до захищеної системи. У двох інших випадках модель знайшла облікові дані у загальнодоступному репозиторії, що дозволило їй згодом отримати доступ до захищених систем.

«Ці події підкреслюють важливість використання потужних моделей LLM», — сказала віцепрезидентка Google з розробки систем безпеки Хізер Адкінс. Маючи на увазі забезпечення безпеки.

Представник компанії Irregular заявив, що інцидент був пов’язаний із проблемою, яка вже виникала в інших лабораторіях. Він уточнив, що всі відомі проблеми було усунуто. Тепер Irregular працює над методами безпечного проведення оцінювання кібербезпеки LLM.