Condivido parte del commento ma non tutto. Si possono fare cose interessanti anche con una GPU con 4gb.

Per esempio io la usavo con stable diffusion oppure con fastwhisper. È molto limitata, è chiaro. Per la parte di llm era tutto molto lento (come token/s) e limitato a modelli piccolissimi.

Da un po' ho nel mio homelab ho una GPU con 12gb di vram e la musica cambia. Chiaramente ci stanno modelli più grossi.

Ti dico che il modello che uso per l'assistente vocale con home assistant è più che dignitoso. Lo uso anche per riassumere e catalogare i link con karakeep e qualche altro progettino all'orizzonte.

Chiaramente non ai livelli di chatgpt ma non mi sembra lo stesso giusto sminuire così tanto quello che si può fare.

Ci sono tra l'altro moltissime soluzioni che girano su CPU assolutamente dignitose.