Зі зростанням популярності штучного інтелекту (ШІ) компанії шукають шляхи оптимізації витрат, особливо пов’язаних з використанням великих мовних моделей (LLM). Замість того, щоб завжди звертатися до найдорожчих та найпотужніших моделей, ефективна стратегія полягає у виборі відповідних інструментів для конкретних завдань, що може значно зменшити витрати, навіть при експоненційному зростанні обсягів використання.
Оптимізація витрат на ШІ: стратегія Coinbase
Генеральний директор Coinbase Брайан Армстронг поділився підходом своєї компанії до управління витратами на штучний інтелект. Він підкреслив, що ключовим фактором є не сама складність моделей, а їх ефективне застосування. Coinbase активно працює над маршрутизацією запитів до більш економічних моделей, коли це можливо. Ця стратегія дозволяє зберігати витрати “приблизно на одному рівні” навіть при значному зростанні споживання токенів.
Майбутнє використання LLM: диференціація за ціною та продуктивністю
Армстронг прогнозує, що впродовж наступних 12-18 місяців до 80% всіх робочих навантажень ШІ буде виконуватися на моделях, які є на 99% дешевшими за найновіші. Найбільш передові моделі, такі як Opus 4.8, будуть використовуватися лише для специфічних, найбільш вимогливих завдань. До таких завдань відносяться:
- Наукові відкриття.
- Оркестрація агентів (складне керування взаємодією різних ШІ-агентів).
- Завдання, що вимагають максимальної обчислювальної потужності та точності (“IQ maxing”).
На думку Армстронга, майбутнім обмежувальним фактором у розвитку ШІ стане не відсутність кращих моделей, а доступність енергетичних ресурсів та обчислювальних потужностей.
Реакція технологічної спільноти
Ідеї Брайана Армстронга викликали значний інтерес серед відомих представників технологічної галузі. Венчурний капіталіст Марк Андріссен назвав його думки “цікавими”. Співзасновник Hugging Face Жульєн Шомон відзначив зростаючу важливість маршрутизації запитів між різними моделями.
Генеральний директор Box Аарон Леві, хоча і вважає цифри Армстронга “дещо екстремальними”, погоджується з тим, що використання ШІ буде стратифікуватися. Він прогнозує, що найвибагливіші завдання виконуватимуться провідними моделями, тоді як масові, рутинні завдання будуть делеговані більш доступним рішенням.
Співзасновник Harvey Вінстон Вайнберг також підкреслив, що “розподіл інтелекту буде надзвичайно важливим”.
Зміна парадигми: від “token-maxxing” до ефективності
Тенденція до оптимізації витрат є відносно новою, особливо в публічному просторі. Раніше багато лідерів технологічних компаній хвалилися своїми високими витратами на токени або активним використанням найновіших моделей. Особливо це було помітно у стартап-середовищі, де, наприклад, CEO Y Combinator Гері Тан радив засновникам “не шкодувати” токенів.
Однак, схоже, ситуація змінюється. Співзасновник Glean Тоні Джентількор назвав пост Армстронга “абсолютно влучним”, зазначивши, що “всі технічні фахівці вже це знають”. Він додав, що лише фінансові ринки “екстраполюють ціни Opus на нескінченний масштаб”.
Брайан Армстронг, CEO Coinbase, зазначив, що “обмежувальним фактором буде енергія та обчислювальні ресурси, а не кращі моделі”. David Dee Delgado/Getty Images for The New York Times
За даними порталу: www.businessinsider.com