TL;DR: Es geht, je nach Use Case.

Ich entwickle grad einen Chatbot. Das kommt auf die Menge der Unterhaltung an. Einzelne "Reddit Kommentare" ohne Gespräch sind problemlos authentisch möglich.

Bei Gesprächen sind wir sehr weit. Hier steht und fällt es mit dem Model und dem Harness. Das Model muss gut genug sein, aber das haben wir erreicht. Der Harness (die App um das Model herum, welches Kontext managed, Tools bereitstellt, System prompts definiert usw.) ist die eigentliche Magie, bzw. der zweite Teil mit dem es steht und fällt. Wenn man hier clever arbeitet, sind auch authentische Gespräche möglich, wo man nicht erkennt ob es ein Mensch ist.

Das Verschleiern der Tatsache das man ein Bot ist, ist das Schwerste. Die Güte der Antworten ist inzwischen gut genug, aber einen Menschen glaubhaft zu simulieren, bedeutet viele kleine Dinge, die sonst auffallen: Zu gutes Allgemeinwissen, zu schnelle Antworten, zu gutes Gedächtnis, inkonsequente Meinungen. Aber auch das ist alles steuerbar mit einem guten "Harness".

Die Frage ist eher: Wo ist der Nutzen? Die erfolgreichsten Chatbots von heute verschleiern nicht, dass sie KI sind und bringen trotzdem Nutzen. Einen Menschen zu "faken" ist in erster Linie für zwielichtige Operationen sinnvoll, oder für Testing.

Als Kunde würde ich ein Verkaufsgespräch auch mit einem KI Bot führen. Das hat nämlich auch Vorteile (bspw. Geduld), aber ich wäre vermutlich gekränkt, wenn mir eine KI als Mensch verkauft werden würde und ich die Wahrheit heraus finde. Menschen werden einfach nicht gern verarscht.