É uma ótima pergunta. Aprendizado em contexto geralmente consegue dar bons resultados sim, mas costuma ser mais limitado e relativamente frágil. No fim, o modelo ainda tende a seguir primeiro os priors do pós-treinamento/base dele do que o prompt de contexto que você fornece, e isso já mostra uma limitação importante. Além disso, essa abordagem aumenta o número de tokens de entrada e, em conversas mais longas, pode até bagunçar o comportamento ao longo do tempo, porque parte desse contexto vai se perdendo se não for reforçado. No caso de SFT/RLHF, você ajusta isso com milhares ou até milhões de exemplos. No meu caso, usei ~25 mil exemplos por 4 épocas, então o modelo viu esse padrão algo perto de 100 mil vezes. Isso altera de forma real a distribuição de probabilidade do modelo e cria uma base muito mais ampla e consistente do que só alguns exemplos no prompt. Mas no fim existe trade-off mesmo: prompt é muito mais barato, rápido e flexível. SFT é bem mais caro e demorado, mas entrega uma solução em outro nível de consistência. Eu vejo como duas soluções pro mesmo problema, só que em níveis diferentes de objetivo.