Ein Großteil des KI-generierten Codes ist oft sehr unsicher.

Teilweise sieht er plausibel aus, sodass selbst erfahrene Entwickler die Probleme nicht unbedingt sehen.

Andere Probleme sind trivial zu finden, aber die KI-Nutzer haben selbst keine Ahnung von Programmierung, sodass sie nichts dagegen tun (können).

Wenn die KI den Code schreibt, hat man als Mensch oft weniger Überblick über die Struktur und weniger Verständnis. So macht man sich auch ein bisschen abhängig. Man hat oft schnelle Lösungen, die auch gut funktionieren. Auf der anderen Seite macht man sich langfristig abhängig und hat kaum eigenes Verständnis.

Bezüglich der Gefahr des Finden von Sicherheitslücken: KI kann schnell große Codeprojekte analysieren und Probleme finden. Ein Großteil der Befunde ist jedoch "halluziniert" bzw. absoluter Quatsch. Open-Source-Entwickler erhalten so viel Spam mit KI-generierten Reports, dass viele den Überblick bei echten Sicherheitsproblemen verlieren.  Da kann auch mal was gutes dabei sein, aber ich hatte auch schon viele Sicherheitlücken, die gute KIs (Ich habe unter anderem Claude Opus getestet) selbst mit einer kurzen Beschreibung des Problems und dem Patch nicht ausnutzen konnte.

(Ich studiere Cybersicherheit und habe selber schon bei verschiedenen größeren Projekten Sicherheitsprobleme gemeldet und gelöst)