Google представила новий Android-застосунок AI Edge Gallery, який дозволяє запускати великі мовні моделі на смартфоні без підключення до інтернету. Моделі, зокрема Gemma 3n, працюють повністю офлайн, використовуючи лише обчислювальні ресурси пристрою.
«Google AI Edge Gallery — це експериментальний додаток, який передає потужність передових моделей Generative AI безпосередньо у ваші руки, працюючи повністю [на локальних пристроях]», — зазначається в документації.
Застосунок був опублікований 31 травня на GitHub під ліцензією Apache 2.0, тож його можна адаптувати під власні потреби. Поки що доступна лише Android-версія, але незабаром очікується реліз для iOS.
Програма орієнтована насамперед на розробників і має три основні функції: AI Chat (чат), Ask Image (візуальний аналіз) і Prompt Lab (одноразові завдання на кшталт переформулювання тексту).
Дані: GitHub
Користувачі можуть завантажити моделі, наприклад, з Hugging Face, але наразі підтримуються лише формати на кшталт Gemma-3n-E2B або Qwen2.5-1.5B. Завантажені моделі — це окремі файли, що містять усі «знання», здобуті під час тренування. Найбільша Gemma 3 важить близько 4,4 ГБ, найменша — 554 МБ.
Без з’єднання з інтернетом і можливості надсилати дані на підконтрольні компаніям сервери така менш потужна система має певні переваги:
- рішення працює без доступу до мережі, не використовує підписки, кредити чи ліміти — потрібні лише потужність та батарея вашого смартфона;
- без затримки на зв’язок із сервером модель може надавати відповіді швидше;
- утримання всіх даних на локальному девайсі забезпечує більшу конфіденційність;
- локальні версії не повідомляють про спроби обходу обмежень, що дозволяє експериментувати з джейлбрейками.
Втім контекстне вікно обмежене 4096 токенами. Підтримка сторонніх моделей також наразі обмежена. AI Edge Gallery приймає лише формат .task, а не популярні .safetensor, які використовує більшість LLM на ринку.
Нагадаємо, у червні Microsoft інтегрувала відеогенератор на основі моделі Sora від OpenAI у мобільний застосунок Bing.