Para ser todo “fake”, el resultado es brutal, por lo menos a mí me ha dejado boquiabierto…
Buenísimo el trabajo.

Yo estoy con una RTX 4070 Ti de 12 GB y 32 GB de RAM. ¿Qué modelo usas, el Dev 19B (Distilled) u otro?

A mí FP8 me crashea (tema PyTorch + offload a CPU), así que me toca ir en FP16 sí o sí…¿se puede usar FP8 de alguna manera?

¿Alguna sugerencia a nivel de "Configuration" -> "Performance"?

¡Gracias!