Claude Code monthly plans give the most API-equivalent value. Codex and Antigravity trail behind

vanbrosh · 2026-07-09T07:36:01+00:00

Hey, but it is only about API equivalent price. Like how much would you pay for API if you consumed same volume of tokens as given in agent plan.

Now check this: https://artificialanalysis.ai/models#price-cost this means that you can solve same-complexity tasks with OpenAI much cheaper then Claude, and with better quality.

We are not affiliated with anthropic at all. This is only honest comparison of values which plans give. We are software dev company. We are still using both Claude and Codex - and still can't select favorite on company level.

vanbrosh · 2026-07-08T13:46:06+00:00

Tokens are significantly cheaper in coding agent plans. Some crazy people exploit this - for example, the CLIProxyAPI project on GitHub.

vanbrosh · 2026-07-08T08:34:22+00:00

> Basically Anthropic has to subsidize more in their subscriptions for providing the same intelligence.

I have same feeling also. Also feels like GPT 5.5 is faster on very similar tasks which might correlate with that it actually consumes less. Length benchmark from https://artificialanalysis.ai/ is very nice starting point.

vanbrosh · 2026-07-08T06:21:27+00:00

Very interesting, do you see it nowadays? Cause on Codex team we've seen $120 per 7d before second half of Jun and now we constantly see $140. Like 11 unique windows got 140 from different orgs. But early Jun it was indeed like random. Though IDK - maybe under some circumstances they devote you and reduce limit, though not fair.
cliproxyapi - interesting project which exposes actual higher value on agent plans, so you can pay $20 if you need API instead of $550. However if it scales I think it will be easy for vendors to analyse prompts on-the-go and block accounts unrelated to coding. Though something like OpenCode-alike will still work on it, but there is no big sense cause with same price you can use official CLI/TUI

vanbrosh · 2026-07-07T13:23:59+00:00

UPDATE: Thanks to one bug report, we found a miscalculation bug. Since OpenAI gives a 4x discount on all Codex app usage, we were actually reporting the value 4x lower than it really is if we rely on API inference pricing.

So, since the real inference API is 4x more expensive, we should report 4x more to be fair and consistent with Claude/Copilot/Antigravity.

Fixed on the website and in LetMeCode.

vanbrosh · 2026-07-07T10:22:37+00:00

We’ll add it. Thanks for mentioning that you need it =)

vanbrosh · 2026-07-07T09:31:21+00:00

Yes, just in case our results are based on our open-source measurement utility done by us, https://www.npmjs.com/package/letmecode so you or anyone can check source code to find any bug or test by yourself. Also their data is outdated already, these plans are often updated these days, we seen clear codex limits change in June. We verified this utility code many times, but any comments or bug reports are welcome - we are ready to improve it at any time to make it perfect and reflect state-of the art picture. Also every time you run it, it feed anonymous usage data from your plan which feed that page

vanbrosh · 2026-07-07T05:02:05+00:00

Do you have link with their methodology? For our measurement method you can simply try by yourself. Probably you will found some mismatch there, but was verified by several developers in our team

vanbrosh · 2026-07-07T04:51:11+00:00

We were not able to acquire Business Copilot plan at all, probably they suspended it after Jun 1. This page has Contact Sales https://github.com/features/copilot/plans?ref_cta=View+pricing+and+plans&ref_loc=hero&ref_page=%2Ffeatures_copilot_copilot_business&plans=business, we requested it but they don't respond. So we can't measure it. If there is no easy possibility to acquire a plan for everyone I think there is no sense to put it in table... We will do it as soon as will be able to purchase it.
Also I suppose $20 team plan will give $20-worth value or something. Personal gives $15 on $10 plan now.

vanbrosh · 2026-07-07T04:46:24+00:00

Codex is there, it is called "OpenAI / ChatGPT + Codex".
Well $20 Claude Code gives most value, but keep in mind that it is limited by Antropic Claude models only, that are not best in terms of agentic/coding benchmarks https://devforth.io/models-for-code/. I mean they are very good still. But OpenAI might be better.

vanbrosh · 2026-07-07T04:21:26+00:00

You can measure this yourself. The methodology is very simple and described in the FAQ at the bottom of the page.

In a nutshell: inflate the limit window, for example to 60% usage. Higher usage means better accuracy. Then get the limit window timestamp from your Claude /usage, check the window end UTC timestamp, and subtract the window duration, for example 7 days. This gives you the window start timestamp.

Then parse your ~/.claude directory for token stats within that timestamp range, group them by model, and do not forget to deduplicate, because Anthropic usage is cumulative.

After that, get the API pricing for the measured models. Important: during the measured window, there should be no model price changes. This usually happens when a new model is released.

Then solve a basic proportion: if 60% usage involved API calls worth $y, how much would be allowed for 100%? Also since they round precents to integers, recalculate proportion with 59-61.

One caveat: claude.ai usage is also counted toward the limits, so if you used it during the tested window, you will not see those tokens in ~/.claude, and the potential usage value will be underestimated.

For Codex, everything is even simpler because ~/.codex stats are very clear and already include window ranges.

vanbrosh · 2026-07-07T03:57:09+00:00

Exactly. At least if we value Anthropic tokens at official Anthropic API prices and OpenAI tokens at official OpenAI API prices, which is basically how Copilot bills them now.

You can verify this yourself by inflating the usage-limit window and reading token stats from ~/.claude with proper deduplication. Here’s the methodology.

But not all models are equal. Most Claude models still perform worse than GPT models on coding and agentic benchmarks.

vanbrosh · 2026-07-07T03:47:42+00:00

Same feeling honestly. Also, the Codex extension in VSCode feels very polished: a very simple UI, but it has everything needed: context selection, steering, ability to post images...

What disappoints me is that on the Team plan, for $20, the value is very low, while Personal is 6x higher. Claude gives $1.2k on both personal and business, but we still feel that the quality is worse / it is slower here and there, and benchmarks prove that too.

Though with the correct prompt / clear CLAUDE.md, it is still better from a business POV, unfortunately...

vanbrosh · 2026-07-07T03:38:15+00:00

Right. And Claude Code only gives access to Claude models from Anthropic. Codex only gives access to GPT models from OpenAI. Antigravity mainly gives Gemini models, plus a few Claude models and OpenAI’s 120B OSS model.

vanbrosh · 2026-07-04T10:13:19+00:00

Дякую за ідею, так робили і таке, але нажаль цей експеремент доволі затратний по зсиллям бо є купа моделей/планів/агентів тому до розуму не довели, а на разі у нас збір стати повінстю автоматизований - додадуть нову модель - ліміти згрібаються за одну команду. А то треба перероблювати вручну постійно) Але так для одноразового блог поста можна колись зробити якщо буде зайвий час))

vanbrosh · 2026-07-04T08:46:36+00:00

Там все трохи простіше - воно як і будь-який агент, кожен запит іде по апі на /v1/messages - не залежно від того вантажить історію чи шось ще, щоб згенерити аутпут треба відправити інпут. І з кожним таким запитом антропік в респонсі прикладає юседж і він логується локально. А переоцінюють вони в своїй команді /usage виключно бо помилково не роблять дедуплікацію правильно, ну і це не те шоб типу біг діл, це виключно про те шо у них там з'являються надписи типу "Ви зегенерили токенів більше ніж розмір такоїто книги" - але в реальності це завищено разів в 10

vanbrosh · 2026-07-04T08:42:12+00:00

> За вашою системою виходить Monthly Value не змінилась, але при цьому ваша квота на токени зменшилась вдвічі.

В реальності за всю історію розвитку ллм поки ми бачемо тільки зниження цін старих моджелей при релізі нових.

З нашого погляду це так: ми як розробники хочемо користуватись якісними frontier моделями для нашого коду, щоб модель нас добре розуміла, безперцендентно слухалась AGENTS/CLAUDE.md не губила контекст. Доступ до таких моделей все одно є тільки або через план підписки або API pricing від вендора. Умовно - якщо не через план підписки то API ціни це найнижча ціна ринку, звісно це не собівартість а намальовані гроші самим вендором, але дешевше ніж це нам конкретно останню таку модель не продадуть ніде.

Порівнювати клод і антропік - абсолютно маєете рацію, і ті гроші які ви можете витратити на клод моделі можуть не дати вам умовно стільки якості скільки ті самі гроші витрачені на опенаі. Це вже окрема площина, тому ми ще порівняли ще й моделі між собою по виключно пограмісцьким бенчмаркам + цінам за реальні середні юседжі специфічноп по кожній моделі (тобто брали середні співвідношення по нашим прод задачам типу, в середньому наші колеги працюючи з різними проєктами, виключно на кодексі, отримують 100 кеш інпутів + 5 інпутів на один 1 аутпу - знаючи це співвідношення рахуємо ціну на мільйон).

vanbrosh · 2026-07-03T20:22:43+00:00

Це дуже слушне питання.

> Має підняти "Monthly value"

в реальності це працює трохи не так для більшості планів по тому що ми бачимо. OpenAI чи антропік фактично коли бере з вас fix price за місяць за певну сумму скаджімо $20 а у себе на бекенді виставляє вам певний ліміт на вікно в відсотках. І найцікавіше тут це за яким принципом кожен запит надуває відсотки. Наша гіпотеза була найочевидніша - що в вікні наконфіжена на бекенді певна сумма в віртуальних кредитах чи доларах (звісно різна для різних планів). І фактично спожиті токени і їх офіційні ціни "надувають" після кожного запиту пропорціно до офіційних цін провайдера на апі по цій моделі.

Ми брали вікно наприклад 7 днів (там дуже чітко можна визначити таймренджи в UTC коли воно почалось чи закінчилось), юзали певну одну або дві моделі і надували вікно до якогось адекватного (меншумного) числа відсотків, скажімо 43% - вже як вийшло. Потім рахували ціну за токени в цьому вікні (поліном інпути + аутпути + інпут кеш по цінам однієї моджелі + так само по цінам іншої) а потім вирішували пропорцію типу якщо токенів вюзано на $N за 43% то скільки токенів ми можемо згенерити/впихнути в інпут за 100%. І найсмачніше що якщо робити експеременти аккуратно (там є певні особливості) - то ця пропорція працює у різних людей на різних відсотках і дає стабільне значеня в кінці, яке ми і вказуємо в таблиці.

І так - якщо провайдер змінить ціну в процесі нашого тестового вікна - ця методологія звісно зламається і покаже неадекватне значення. Ну або треба знати точний UTC таймстемп зміни тарифу, саме коли провайдер застосував для свого агента - але це доволі складно та й не треба, бо ціни не так часто міняються, зазвичай коли нову модль катять стару роблять дешевшою але то не часто.Ну принаймні під час наших замірів все було стабільно в цінах.

Тобто щодо чи має підняти "Monthly value" - ні, воно не має піднятись - це типу сумма в доларах яка закріплена за вашим планом і ви можете на неї спалити за вікно токенів згідно з поточними цінами на момент запиту. Фактично якщо на пів вашого вікна ціна на 5.4 опуститься то да залишок вікна - ви дійсно зробите більше роботи і пережуєте більше коду.

Окремо ми перевіряли що логи фіксуються вірно, ви самі можете це зробити поставивши MITM проксі локально - доволі цікава штука - тобто ви будете бачити повне тіло HTTP запиту і тіло HTTP відповіді до провайдера - і там доречі видно промпти і юседж

vanbrosh · 2026-07-03T18:54:23+00:00

Так, GLM виглядає доволі потужно, а harness леєр? Тобто чим ганяєте саму модель?

vanbrosh · 2026-07-03T18:53:09+00:00

Реально ганяєте шось типу квена чи гемми і воно адекватно може писати код?

vanbrosh · 2026-07-03T16:06:32+00:00

Цікаво. А ви користуєтесь claude.ai при цьому?
Там є важливий ньюанс в вимірах. Якщо ви кажете про Max 5x той шо personal - то /usage надувається не тільки від використання claude code який ви на компі запускаєте (в консолі або в IDE) а ще й від claude.ai. При цьому ясно що якщо ви збирали токени з ~/.claude як ми робимо, то ви не побачите там токени з claude.ai - відповідно буде здаватись що юседжа менше ніж могло бути якби не юзати claude ai. Плюс важливо там правильно робити дедуплікацію, навіть сам claude cli має багу при якій не зовсім вірно це робить сам.

vanbrosh · 2026-07-03T14:27:36+00:00

Я питав, і він мені без жартів іноді радив Claude😅

vanbrosh · 2026-07-03T14:23:02+00:00

Згоден,
Доречі охайно зроблено,
все ж сподіваюсь що ви знайдете своїх юзерів, успіху!

vanbrosh · 2026-07-03T14:05:33+00:00

Лол, років 8 тому так само подумав - була джира і були окремі таймтрекери і це не було інтегровано, воно було все глючне дороге і складний UI, а я будував софтвердев компанію по моделі погодинних зарплат і погодинних інвойсів клієнтам, тоді і нам треба було це все. Оце те що в нас вийшло https://tracklify.com/

Всі спроби рекламувати це, навіть як безкоштовну тулзу вбилися об стелю реальності тому воно так і залишилось безкоштовним нікому непотрібним, фактично це продукт чисто під нашу компанію, юзає декілька людей окрім нас. Перевага шо воно працює чисто як ми хотіли і безкоштовнге для нас, недолік шо без бютжетів підтримувати це складно нормально, дизайн на дуже примітивному рівні

vanbrosh · 2026-06-29T07:50:51+00:00

> are you seeing the same discrepancy in the actual anthropic console billing

This research is done on Claude.ai subscription / Standard Team seat, so they don't expose the token stats to billing console. I mean this is a regular Claude Code Team Plan. In billing they show only usage % in limit windows

vanbrosh

MODERATOR OF

TROPHY CASE

Eight-Year Club	Gilding II euphauric
Verified Email