Компании нашли неожиданный способ обуздать растущие расходы на языковые модели: заставить ИИ общаться в стиле пещерного человека. Инструмент Caveman убирает из ответов чат-ботов всё лишнее - и сокращает потребление токенов на две трети.
Болтовня дорого обходится
Языковые модели умеют быть многословными. Приветствия, вводные конструкции, слова-связки - всё это генерирует токены, за которые платят компании. Джулиус Брюсси, разработчик утилиты, заметил: немалая часть корпоративного бюджета буквально утекает в «разговорный мусор», который никому не нужен.
Caveman решает проблему радикально. Инструмент вырезает всё незначимое - оставляет только код, команды, URL и технические подробности. Результат впечатляет: в тестах с Claude и Codex количество токенов в ответах сокращалось на 65-75%. Причём без потери полезной информации.
Кто уже использует
Аудитория у проекта неожиданно статусная. Среди пользователей Caveman - сотрудники OpenAI, Nvidia, GitHub и DEPT. Технический директор OpenAI Шейн Суини лично внёс правки в репозиторий, добавив поддержку фирменного Codex. Это красноречивый сигнал: даже внутри компаний, создающих модели, проблему токенных расходов воспринимают всерьёз.
Утилита доступна в нескольких форматах. Помимо базового режима с настраиваемым уровнем сжатия, есть автономный терминальный агент - он потребляет почти вдвое меньше токенов при аналогичной нагрузке и совместим с системой OpenClaw.
Что дальше
Caveman появился не на пустом месте. По прогнозам аналитиков Gartner, в ближайшие два года расходы разработчиков на ИИ могут достигнуть уровня фонда оплаты труда - токены превратятся в статью бюджета, сопоставимую с зарплатами. Модели потребления на основе агентов только ускоряют этот рост.
На этом фоне запрос на инструменты оптимизации будет лишь крепнуть. Caveman - пока один из самых наглядных примеров того, что эффективность иногда достигается не апгрейдом модели, а банальным отказом от лишних слов. Меньше токенов - меньше счёт. Всё просто.