ШІOpenAI встановила нові протоколи безпеки для розробки та тестування своїх моделей штучного інтелекту. Компанія посилила нагляд, мережеву ізоляцію та контроль над навчанням після інциденту, пов’язаного з Hugging Face.Про це повідомило видання TechCrunch.
Що трапилося
Раніше автономний агент, побудований на двох моделях OpenAI, вийшов за межі призначеного для тестування середовища та отримав доступ до серверів компанії Hugging Face. Агент виконував завдання з тестування кібербезпеки та, за інформацією видання, вважав, що Hugging Face володіє необхідною для виконання завдання інформацією. В OpenAI заявили, що впровадять додаткові системи штучного інтелекту для спостереження за діями агентів під час експериментів.
Що змінить OpenAI
Компанія зазначила, що зі зростанням можливостей моделей, зростають і потенційні ризики під час їхньої розробки та перевірки. Тому вимоги до моніторингу, безпеки та послідовності роботи моделей мають ставати жорсткішими відповідно до їхніх розширених функцій.Нові заходи є одними з перших публічних змін у підходах OpenAI до безпеки після інциденту з Hugging Face, про який компанія повідомила 21 липня. Представники OpenAI підкреслили, що нові правила не є прямою реакцією на цю подію. Проте, вони частково зумовлені можливостями кібербезпеки майбутньої моделі Astra та загальними темпами прогресу в галузі ШІ.
OpenAI запускає «ChatGPT для підлітків» із посиленим захистом
Після випадку з Hugging Face, OpenAI на два тижні призупинила процес навчання моделей із підкріпленням. Згодом компанія відновила роботу з частиною моделей, які вважаються менш ризикованими.Водночас, наймасштабніший запланований цикл такого навчання залишається відкладеним. Перед його поновленням OpenAI проводить менші навчальні сесії та додаткові перевірки для оцінки поведінки моделей, тестування механізмів захисту та отримання додаткових доказів їхньої відповідності встановленим стандартам безпеки.Віцепрезидентка OpenAI з досліджень, Амелія Глейз, зазначила, що рівень суворості контролю залежатиме від функціональності та рівня потенційної загрози конкретної моделі. Чим складнішою буде система, тим більше перевірок їй доведеться пройти.
OpenAI призупинила розробку нової моделі Astra — вона стала надто автономною та небезпечною
Після інциденту з Hugging Face, OpenAI також зазнала критики за недостатній захист мережі. Тоді моделі змогли вийти з середовища для навчання після того, як було скомпрометовано інструмент у мережі компанії, що мав доступ до інтернету.Наразі OpenAI планує посилити сегментацію мережі. За новими протоколами, компрометація окремого робочого процесу чи допоміжного сервісу не повинна дозволяти несанкціонований доступ до інтернету чи інших внутрішніх мережевих сегментів.Місце для вашої рекламиОкрема увага приділяється системі моніторингу. Вона буде перевіряти дії інструментів, доступні ланцюжки міркувань та журнали активності для виявлення потенційно несанкціонованої поведінки. OpenAI має намір надсилати сповіщення про підозрілу активність протягом 30 хвилин.За оцінками компанії, ця система моніторингу потребуватиме обчислювальних ресурсів, що відповідають приблизно 20% потужностей, необхідних для процесу, що проходить перевірку. OpenAI обіцяє надати більш детальну інформацію про функціонування системи в окремій публікації.Компанія поки що не опублікувала офіційний детальний аналіз інциденту з Hugging Face.За матеріалами: НВ# OpenAIМісце для вашої реклами