В Devin Pro за $20: минимум 8 млрд токенов SWE-2 за 14 дней

Двухнедельная телеметрия Devin SWE-2: не менее 8 млрд токенов, 95,3% — Cache Read. Devin Pro стоит $20/мес; бесплатный доступ в Desktop и CLI указан до 10 октября.

Обложка Devin SWE-2: реактор и поток токенов; 8,13 млрд за 14 дней, 95,3% Cache Read, 383 сессии, Devin Pro $20/мес, Kimi K3. Это пользовательская телеметрия, не тест модели.

Что такое SWE-2: архитектура Kimi K3 и бенчмарки Cognition

Суть: За 14 дней прогона в подписке Devin Pro за $20 модель Devin SWE-2 перемолола 8,13 млрд токенов, но 95,3% из них — это чтение кэша. По прямым API-тарифам Kimi K3 или Claude Sonnet 4.5 этот объём стоил бы $3 790, а на DeepSeek — $457. Подписка окупается с первого дня.

10 сентября 2026 года Cognition представила SWE-2 как модель для автономного программирования, построенную поверх Kimi K3. Параметры и контекст базовой модели — в официальном описании.

По заявлению Cognition, дообучение шло через обучение с подкреплением (RL), оптимизированное под стоимость генерации токенов.

На всех трёх наборах SWE-2 выше Kimi K3, но это цифры Cognition, а не независимый повтор.
Бенчмарк Kimi K3 SWE-2 Разница
DeepSWE 1.1 68,5% 73,0% +4,5 п.п.
FrontierCode 1.1 Main 44,2% 50,0% +5,8 п.п.
Terminal-Bench 2.1 88,3% 92,8% +4,5 п.п.

Источники: Cognition о SWE-2, DeepSWE, FrontierCode 1.1 и Terminal-Bench 2.1.

8,13 млрд токенов за 14 дней: чтение кэша, вход и генерация

Я прогонял Devin SWE-2 с 11 по 24 сентября. У меня в сводке 383 сессии и около 60,5 тыс. сообщений ассистента.

Всего Devin SWE-2 нагенерировал 8,13 млрд токенов. Из них 7,75 млрд — чтение кэша (Cache Read), 354 млн — вход, 27 млн — генерация.

В моём отчёте Billable составил 381 млн токенов.

Сколько стоил бы мой прогон по API-тарифам

Прямые тарифы за 1 млн токенов каждого типа: вход, чтение кэша, выход. Это цены API, по которым я считаю свой объём, а не стоимость подписки Devin.
Модель и сценарий Вход, $ за 1 млн токенов Чтение кэша, $ за 1 млн токенов Выход, $ за 1 млн токенов
Kimi K3 API$3,00$0,30$15,00
Claude Sonnet 4.5, стандартный контекст до 200 тыс. токенов$3,00$0,30$15,00
GPT-5.6 Sol, короткий контекст$4,00$0,40$20,00
GPT-5.6 Sol, длинный контекст$8,00$0,80$30,00
DeepSeek-V4-Pro-0813, непиковый тариф$0,66$0,022$1,98
DeepSeek-V4-Pro-0813, пиковый тариф$1,32$0,044$3,96
Расчёт по моим счётчикам: (вход × цена входа + чтение кэша × цена чтения + выход × цена выхода) / 1 млн. Это оценка по модельным тарифам, а не счёт Devin.
Модель и сценарий Расчёт по моим счётчикам, $
Kimi K3 API$3 790,24
Claude Sonnet 4.5, стандартный контекст до 200 тыс. токенов$3 790,24
GPT-5.6 Sol, короткий контекст$5 053,65
GPT-5.6 Sol, длинный контекст$9 837,26
DeepSeek-V4-Pro-0813, непиковый тариф$457,40
DeepSeek-V4-Pro-0813, пиковый тариф$914,80

Ставки взяты из тарифов Kimi K3, прайса Anthropic, тарифов OpenAI и тарифов DeepSeek. Запись в кэш, вызовы инструментов и налоги в расчёт не входят.

Как SWE-2 отвечает в моём прогоне

Задержка ответов на ~60 тыс. замеров, секунды. Миллисекунды исходной сводки переведены в секунды без изменения значений.
Замер p50 p90 p95 p99
TTFT, с5,66815,38620,08638,079
Полный ход, с6,99224,57738,65788,566

Для парного кодинга в реальном времени не годится: хвост TTFT и полного хода закрывает интерактив — только фоновые агентные прогоны.

Динамика по дням: пик 18 сентября — 1,89 млрд токенов

Вот мой расход с момента покупки подписки: 12 сентября в исходной сводке нет, а 24 сентября отмечен как неполный день.
Дата Сообщения Все токены Billable, млн токенов
11.09.202611012,8 млн0,4 млн
13.09.20269611,0 млн0,3 млн
14.09.20261 970250,1 млн9,6 млн
15.09.20265 159613,0 млн24,0 млн
16.09.20263 492454,8 млн19,8 млн
17.09.20267 065916,6 млн58,7 млн
18.09.202613 1091 892,2 млн48,4 млн
19.09.20269 8751 322,7 млн49,1 млн
20.09.20263 721514,6 млн32,8 млн
21.09.20263 529506,6 млн46,8 млн
22.09.20264 856691,7 млн34,0 млн
23.09.20266 124769,1 млн46,8 млн
24.09.20261 386171,3 млн10,1 млн

Как SWE-2 ведет себя у людей — и у меня

Бенчи Cognition — это одно, а люди говорят другое, и я с людьми согласен. Независимый KingBench 3 дал SWE-2 83,75% против 81,25% у DeepSeek V4.1 Flash: три победы, два поражения, три ничьи. Вроде ок, но это восемь игрушечных задачек. А на Terminal-Bench 4, который вне прикормленной дистрибуции, SWE-2 сливает GPT-6 Astra 27,3% против 57,9% — и это официальные цифры самой Cognition.

«swe-2 is heavily benchmaxed... the instant it encountered a bench outside its distribution it failed spectacularly... i hate benchmaxed models» — davidbandel, daily.dev

Дальше живые жалобы. Тред в r/DevinAI так и называется: «SWE-2 is basically unusable for me because of how slow it is» — совет из треда: сидеть на medium/high, на max одна простая задача жрется часами. Это ровно мои p99 38/89 секунд, только словами людей. Вторая жалоба: модель задает слишком много уточняющих вопросов перед стартом — для автономного агента это трение. Третья: путаница с безлимитом — у людей стопалась работа через полчаса, оказалось что unlimited только local CLI/Desktop треды, Cloud не в счет.

«The model talks the closest to how a human talks. No unnecessary information, over-the-top phrasing and verbosity... I kept running the same tasks with both SWE-2 Max and Fable 5.1 Max and the results were very similar» — Catalin Pit, неделя на реальном Documenso

Этот же человек независимо пришел к моей схеме: frontier-лид планирует, SWE-2 таскает код. У Cognition это даже фирменный режим называется — Fusion. Дальше мой опыт за 383 сессии и 60,5 тыс. сообщений этого прогона, без прикрас. Я много гонял эту модель. Как мейн-агента ее использовать нельзя — только сабагент с четким скоупом и инструкциями. Не давай ей придумывать функционал, архитектуру или документацию, иначе получишь исследования ради галочки, абстракции глубиной в лужу и велосипеды с костылями. Ей хоть сто раз скажи «работай в OOP, SOLID, DRY, KISS, DDD, TDD, BDD» — в моих прогонах она все равно перепрыгивала через red-фазу TDD, игнорила OOP и не видела Single Responsibility, пока не ткнешь в упор. За ней нужен ревью, всегда. А если посадить ее мейн-агентом на каждый день — ругань в чате обеспечена в большом объеме.

Для сравнения, Gemini 3.8 Flash — быстрый, но тупее: поток 239 токенов в секунду против 213 у DeepSeek V4.1 Flash, зато на агентских бенчах сливает — Terminal-Bench 4.0 19,7% против 26,8%, AutomationBench 59,9% против 68,9%, а время до первого токена вообще 14,93 секунды против 1,09. По моим задачам та же картина: отвечает мутно, как Opus 4.5, постоянно приходится переспрашивать «объясни нормально», плюс регулярно косячит с мерджами и работой в worktree. В агрегате BenchLM на 30 сентября расклад такой: Gemini 3.8 Flash — 73,92, Kimi K3 — 72,12, Sonnet 4.5 — 49,13. Про Kimi K3 честно: я ее в таком объеме не гонял, но гонял SWE-2, который форк Kimi K3. Хайпанула она так, что продажи закрыли. Но если SWE-2 это плюс-минус уровень Kimi K3 — то это печаль, потому что это максимум Sonnet 4.5. А про Sonnet я ничего хорошего сказать не могу: опыт с ней большой и полностью негативный.

Примечания

  1. Специализированная агентная модель Cognition для программной инженерии; заявления об обучении и бенчмарках атрибутированы Cognition.
  2. Базовая модель семейства Mixture of Experts от Moonshot AI; официальное описание указывает 2,8 трлн параметров и контекст до 1 млн токенов.
  3. Чтение из кэша дешевле входа в 10 раз: $0,30 против $3,00 за 1 млн токенов у Kimi K3 и Claude Sonnet 4.5. Поэтому доля 95,3% и решает экономику прогона.
  4. Время от отправки запроса до первого сгенерированного токена ответа.
  5. Имя счётчика в исходной сводке для суммы входных и выходных токенов.
Частые вопросы и детали

Сколько токенов SWE-2 зафиксировано за две недели?

В локальной сводке за 11–24 сентября 2026 года указано около 8,13 млрд токенов. Показатель Cache Read — число токенов, прочитанных из кэша, — составляет 95,3% общего объёма. Это 14-дневный срез; полнота данных за 24 сентября не указана.

Что означает Devin Pro за $20 и безлимитный SWE-2 до 10 октября?

Devin Pro стоит $20 в месяц и включает квоты, которые обновляются ежедневно и еженедельно; сверх квоты можно докупить дополнительный объём по API-тарифам. Владелец поста сообщает о безлимитном SWE-2 в своём аккаунте до 10 октября 2026 года. Публичная страница Devin подтверждает бесплатный доступ к SWE-2 в приложении для компьютера и командной строке до этой даты, но не утверждает, что доступ безлимитный.

Доказывают ли расчёты стоимости API экономию на Devin Pro?

Нет. Это условный пересчёт локальных счётчиков по публичным API-тарифам, а не счёт Devin или измерение экономии. В сводке не указаны объём записи в кэш, распределение контекста, остаток квоты и фактические доплаты.

Как распределилась задержка SWE-2 по процентилям?

В моей сводке медиана времени до первого токена — 5,7 секунды. На 90-м процентиле — 15,4 секунды, на 95-м — 20,1, на 99-м — 38,1. Полный ход занимал медианно 7,0 секунды; на 90-м процентиле — 24,6 секунды, на 95-м — 38,7, на 99-м — 88,6.

Read more

GPT-5.6 vs Claude Fable 5: разбор и сравнение — баннер с 4 живыми примерами

GPT-5.6 vs Claude Fable 5: разбор и сравнение

Коротко TL;DR: GPT-5.6 вышла в паблик 9 июля — ChatGPT, Codex, API. На живых примерах с X счёт с Claude Fable 5 примерно равный: 5.6 берёт 3D и интерактивность, Fable — рендер и законченность. В API у 5.6 контекст 1.05M, но сколько дадут на подписке — OpenAI не

By Аи Помогатор
Баннер: Claude Code без остановки — анти-стоп харнесс на хуках; терминал с Ran 13 stop hooks и заблокированными стопами

Claude Code без остановки: анти-стоп харнесс на хуках

Вкратце: связка Stop-хуков не даёт Claude Code свернуться, пока работа реально не сделана — ловит враньё про «готово» и гонит доделывать. Один заскриненный прогон — 5 часов 9 минут и 719 тысяч токенов; автономность стабильно держит 6 часов+.

By Аи Помогатор
AI Помогатор — Тарифы | Документация API | Регистрация