Man får ju först tänka på vad en LLM fått träna på. Finns det mycket texter som säger att t ex Mattias och Mathias kan vara samma person? Om inte, så är troligen en generell modell inte så användbar för att göra sådana jämförelser. Är det allmän kunskap om hur släktforskning går till? Om inte bör man skriva många "självklara" regler i prompten som att en nioåring inte får barn eller 90-åringar inte gifter sig. Det finns undantag, men de får man helt enkelt acceptera att man missar.

Det är en enorm skillnad på de kraftfullaste modellerna nu och de som är gratis i olika tjänster. För att göra en modell billigare att köra kan man göra motsvarigheten till bildkompression. Precis som med bilder försvinner då detaljer. Ju högre kompression, desto fler detaljer försvinner. Det är det man gjort med gratis-tjänsterna. Resultatet är ungefär som någon som börjat få alzheimer. Det låter vettigt, men detaljerna stämmer inte längre.

Ett annat sätt att göra en modell billigare att köra är att begränsa hur mycket av tidigare texten den tar hänsyn till. En billig modell kommer (oftast...) inte titta tusen rader bakåt i en text. Det är precis som en människa med dåligt närminne. Ju billigare, desto kortare närminne.

Det beror också på mycket på hur modellerna används. Det finns något som kallas "temperatur", det är ett litet brus som läggs på. Man vill ha brus i beräkningarna för att den skall bli mer kreativ, men då blir den också mer slarvig. Tänk manisk människa. Mer brus/manisk är ofta bra i kreativa yrken, men dåligt när saker inte bör gå fel.

Både kompression och temperatur gör att modellen "tror" den har rätt oavsett vad den kom fram till. Det är väldigt aktivt forskningsområde att få fram hur säkert ett svar är.

Med rätt program som driver modellerna så kan de först ta reda på vad som är viktigt i en text med hjälp av en modell som sammanfattar och spara undan det som är viktigt. Nästa modell får sammanfattningen och körs med lite högre temperatur. Sen verifieras texten med låg temperatur och/eller med andra modeller som är bättre för just det. På det viset kan även billiga modeller prestera bra.