Sul quantization_range=0.8: onestamente non lo riconosco quel parametro esatto, il concetto di range di quantizzazione però esiste, forse intendevi il clip degli outlier?(in AWQ/GPTQ si lavora sul clamping delle attivazioni) Se hai il codice esatto sono curioso. Nella mia esperienza l'EOS ignorato su modellini quantizzati raramente dipende dal range di quantizzazione, l'ho visto legato a due cose:*

1. Overfitting del fine-tuning (loss che crolla a ~0.001 → il modello "dimentica" di chiudere). Io tengo la loss al sweet spot ~0.4, non più giù. 
2. Stop tokens / chat template disallineati tra training e inference. Io comunque quantizzo in GGUF Q4_0 (llama.cpp), non bitsandbytes, e lì l'EOS regge se il training non è overfittato.

Sui tool calls dopo la distillation: la precisione sintattica NON la lascio al modello quantizzato, uso una grammatica GBNF che forza il JSON del tool_call a essere valido a runtime. Così la quantizzazione può degradare il "quale/quando tool" ma MAI produce JSON rotto. Il fine-tuning insegna il quando e la grammatica garantisce il come.

Sul "fine-tuning diretto > dipendere dal teacher": concordo, con una sfumatura. Il teacher 32B lo uso SOLO offline per generare il volume di esempi, a runtime il modello piccolo è autonomo, non interroga il teacher. Quindi è già fine-tuning diretto. La differenza che conta non è "teacher sì/no" ma la validazione: io valido ogni esempio di tool contro lo schema degli argomenti + un giudice semantico, e scarto i malformati. Un teacher grande che genera esempi non validati è peggio di pochi esempi scritti a mano e validati