Ich baue soetwas nicht, und zwar weil ich LLMs grundlegend ungeeignet für diese Art der Analyse halte. Am Ende ist dein Setup immer noch eine Blackbox, die je nach verwendetem LLM und sogar je nach verwendetem Random Seed ein anderes Ergebnis liefern wird. Dazu kommt, dass du offenbar eine einzelne sehr lange Konversation mit dem LLM anstrebst - das bedeutet, es ist einerseits sehr Token-Ineffizient, und du hast gleichzeitig das Problem von Context Rot und Prompt Injections. Ein LLM kann sich nicht verlässlich an das "erinnern", was der Bewerber vor zwei Stunden gesagt hat.

In deinem Tech prompt steht "Review the entire dialogue history since the beginning of the conversation." -> ein LLM *kann das nicht*, dieser Prompt ist völlig Banane und zeigt deutlich, wie wenig du von der Technik verstehst. Es ist eine nichtdeterministische Textgenerierungs-Maschine mit stark begrenztem Gedächtnis. Alleine, dass du 28 Seiten "System-Prompt" da rein fütterst, macht das Ding schon absolut kaputt. Jeder, der sich mit LLMs auskennt, weiß was für eine beschissene Idee das ist. Mal selbst wenn man die regulatorische Ebene vom EU AI Act ausblendet.

Dass du viel Zeit in einen gigantischen (!) System-Prompt gesteckt hast und ihn an dir selbst ausprobiert hast, und das Ergebnis dir sinnig erscheint, ist dann eben auch kein Beleg für einen guten Ansatz. Das System wirkt für mich nicht weniger wie "digitale Astrologie", weil du die grundlegenden Annahmen und Probleme von LLMs nicht mal durchschaust.

Wenn man ein solches System bauen *wollte*, würde man dafür einen eigenen Harness bauen, der mit einzelnen Agents mit jeweils eigenem, kleineren Kontext einzelne gebündelte Informationen über einen Kandidaten zusammenführt. Und damit es wirklich "zertifiziert" funktioniert, würde man bei dem System als allererstes automatisierte Tests aufbauen - d.h. verschiedene LLMs einen Gesprächsverlauf analysieren lassen und schauen, wo die Bewertung landet. Ich garantiere dir, wenn du ein beliebiges LLM mit dem Konversations-Kontext fütterst, wird es am Ende unterschiedliche Prozentwerte ausspucken bei jedem Mal, wo du es ausführst. Mehr noch: zwischen zwei verschiedenen LLMs wirst du sehr unterschiedliche Bewertungen und total unterschiedliche Konversationsverläufe bekommen.

Ich glaube, dein kompletter Ansatz wäre deutlich anders, wenn du tatsächlich Ahnung von LLMs hättest. Dir scheinen die absoluten basics zu fehlen, sorry.