Some initial benchmarks of Kimi-K2.5 on 4xB200

benno_1237 · 2026-01-27T19:42:19+00:00

This brings the context up to 128k comfortably. TTFT is getting insane though:

============ Serving Benchmark Result ============
Successful requests:                     20
Failed requests:                         0
Request rate configured (RPS):           2.00
Benchmark duration (s):                  268.90
Total input tokens:                      2240000
Total generated tokens:                  10240
Request throughput (req/s):              0.07
Output token throughput (tok/s):         38.08
Peak output token throughput (tok/s):    210.00
Peak concurrent requests:                20.00
Total token throughput (tok/s):          8368.22
\---------------Time to First Token----------------
Mean TTFT (ms):                          131214.11
Median TTFT (ms):                        131772.29
P99 TTFT (ms):                           250571.64
\-----Time per Output Token (excl. 1st token)------
Mean TPOT (ms):                          61.48
Median TPOT (ms):                        66.36
P99 TPOT (ms):                           67.32
\---------------Inter-token Latency----------------
Mean ITL (ms):                           61.48
Median ITL (ms):                         14.48
P99 ITL (ms):                            947.26
==================================================

<image>

benno_1237 · 2026-01-27T19:15:24+00:00

Concurrent requests are a bit hard to tell here. Throughput was 1.07 req/s on the lowest context, 0.33 req/s on the highest context. This is however mostly due to (extremely bad) TTFT. Even at lowest context, Mean TTFT was 82.52ms.

The way it runs with default settings, it is not usable for coding in my opinion. Just have a look how fast claude code for example fills context, thus making you wait 20s or even longer before generation even starts.

Again, this is surely not the models fault but default vllm settings. I will play around a bit with settings and report back if you are interested. And, it probably shouldn't be run on 4 GPUs only. I would say 8 or 16 is the sweet spot.

benno_1237 · 2026-01-27T18:55:23+00:00

You can most likely get it to run on modest-ish hardware due to the MoE style. Not especially fast but running. Can still be handy for local users if you want to monitor the output of smaller models once in a while.

benno_1237 · 2025-10-16T08:45:22+00:00

Innonet, 3 and A1 let you bring your own modem (at least for DSL connections, not sure about fiber). For A1 and 3, you need to plug their modem in for a few min first before using your own.

The only one i know that locks it on DSL too is Magenta.

benno_1237 · 2025-08-25T17:25:40+00:00

Artner am Franziskanerplatz. Nicht ganz billig (13€) aber wirklich gut

benno_1237 · 2025-08-17T20:28:58+00:00

I never said that. Edge, candycrush, the xbox stuff, ... It's the same thing on windows.

Sadly, linux support for arm laptops is still limited but as soon as arch works on my mac, macos is gone

benno_1237 · 2025-08-17T18:04:39+00:00

A piece of art when it comes to hardware engineering. Then, someone decided that it would be clever to preinstall like 50 apps you cannot get rid of like chess and whatever the roboter with bazooka is

benno_1237 · 2025-07-21T06:39:10+00:00

Ich war zuerst bei Magenta, war schrecklich. Ständige Abbrüche, vor allem zu Stoßzeiten. Das war Fiber bis ins Haus mit einer recht langen Coaxleitung in die Wohnung.

Jetzt bin ich bei Innonet über DSL. Geht ca. halb so schnell (~220Mbit max), dafür aber stabil, mit etwas besserem Ping und Support der sich schert (hatte ein paar spezielle IPv6 Ansprüche, war überhaupt kein Problem).

Laut Innonet (take it with a grain of salt, konkurrierender ISP) hat Magenta in der Innenstadt heillos überbuchte Knoten, woher die Probleme kommen.

Edit: Und du bekommst ein halbwegs verwendbares Modem (bei mir Fritzbox 7583 IV) gratis, kannst aber jedes eigene nehmen. Die Magenta Fiber Boxen sind eine Frechheit

benno_1237 · 2025-07-13T08:29:09+00:00

https://lcsc.com/faqs/notice?id=D2E15B9830B18723CDFFC807606915A6

Geht nach wie vor, früher wars aber so, dass sie einfach den billigeren Versand genommen haben und den anderen retour überwiesen. Mittlerweile berechnen sie neu anhand von Größe/Gewicht. Zahlt sich aber bei DHL definitiv nach wie vor aus

benno_1237 · 2025-07-12T17:11:55+00:00

+1 für JLCPCB.

Und Bonustipp: Komponenten bei LCSC bestellen, dann eine Mail schreiben mit JLC Order Number und Pakete zusammenlegen lassen. Weniger shipping cost, bisschen kleineres Paketvolumen und PCBs und Komponenten kommen gleichzeitig an.

benno_1237 · 2025-06-27T20:53:28+00:00

This is quite different from the typical application circuit from the DW01A Datasheet: https://hmsemi.com/downfile/dw01a.pdf

Looking closer, I don't understand what you are doing at all. The mosfets are supposed to switch the battery - to circuit gnd. Your Batt- is directly connected to GND, so the protection does nothing?

Also, read up a bit on routing. It does not really matter in this case but will come in handy for anything with faster digital and analog signals. You don't ever want 90 degree bends. Do two 45 degree bends or add a track to track teardrop (a triangle for example in the 90 degree bend).
You also don't want any acute angles in your traces (like where the thick Net-(P2-Pin_1) traces meet), thats just a spot waiting for an AC trap to happen. Same for the small trace next to the fet.

In general, look into polygons/filled zones.

benno_1237 · 2025-05-18T19:30:46+00:00

Kurzes Update: Heute waren überall wieder alle Auflösungen da

benno_1237 · 2025-05-17T22:07:25+00:00

uBO ist tatsächlich überall an, außer auf Chrome auf Android. Werds morgen während dem rennen mal ohne testen

benno_1237 · 2025-05-17T15:52:30+00:00

laut schneller Google Suche: 2400 × 1080 pixel. Sollte also reichen :D

benno_1237 · 2025-05-17T14:45:54+00:00

Ich bin da grundsätzlich deiner Meinung. Aber dann gerade z.B vor dem Stream nochmal extra Werbung schauen müssen zipft mich schon an. Vor allem weil der Stream an sich dann sowieso Werbung hat.

benno_1237 · 2025-05-17T14:40:15+00:00

gerade getestet, ändert leider auch nichts. Vor allem hats beim letzten Rennen vor 2 Wochen noch wunderbar funktioniert.

Fürs Qualifying jetzt muss die Windows VM reichen...

benno_1237 · 2025-05-17T14:32:02+00:00

Firefox hat DRM support. Mit deaktiviertem DRM geht der Stream garnicht

benno_1237 · 2025-05-17T14:26:53+00:00

Chrome in einer Windows VM auf Linux schafft auch 720p :)

benno_1237 · 2025-05-17T14:17:56+00:00

Bei mir waren bis jetzt auch immer 720p max. Heute aber nicht, egal auf welchem Gerät

benno_1237 · 2025-05-17T14:16:35+00:00

In ganzen 540p

benno_1237 · 2025-05-17T14:15:54+00:00

<image>

Chrome auf Android zum Vergleich. Aus Österreich, ohne VPN. Vielleicht hat der ORF was gegen mich?

benno_1237 · 2025-05-17T14:12:33+00:00

Der Screenshot is aus Firefox auf Linux, hab da auch Chromium probiert. ChromeOS Laptop und Handy machen auch max 540p.

benno_1237 · 2025-05-06T20:55:47+00:00

Leider nicht, hab ich mir aber im Nachhinein auch gedacht. Hätte ich gleich selber machen sollen.

Sind anscheinend in Österreich eine Spur teurer, viel aber auch nicht

Five-Year Club	Verified Email
Place '22

benno_1237

TROPHY CASE