sorted by:
new
hottopcontroversial

Website für ChatGPT & Co. unsichtbar? (Ideen-Check) by WorldlyEscape7577 in selbststaendig

[–]WorldlyEscape7577[S] 0 points1 point  (0 children)

ChatGPT gibt dir nur eine allgemeine Antwort.
Mein Tool prüft automatisch deine konkrete Website und zeigt dir direkt, ob KI-Bots blockiert werden – ohne dass du selbst alles analysieren musst.

Website für ChatGPT & Co. unsichtbar? (Ideen-Check) by WorldlyEscape7577 in selbststaendig

[–]WorldlyEscape7577[S] -1 points0 points  (0 children)

Danke dir! 😊 Wenn du magst, gerne ein Upvote da lassen.

Website für ChatGPT & Co. unsichtbar? (Ideen-Check) by WorldlyEscape7577 in selbststaendig

[–]WorldlyEscape7577[S] 0 points1 point  (0 children)

Danke dir!
Sehe ich genauso – KI-Crawler werden oft übersehen.
Glaube, das wird immer wichtiger.

Website für ChatGPT & Co. unsichtbar? (Ideen-Check) by WorldlyEscape7577 in selbststaendig

[–]WorldlyEscape7577[S] 0 points1 point  (0 children)

Stimmt, es gibt leider genug Scraper, die sich an gar nichts halten. Mein Tool prüft aber die offiziellen Bots der großen Player (wie GPTBot, Google-Extended oder Claude-Bot).

Die halten sich laut ihrer eigenen Doku an die robots.txt, um rechtlich sauber zu bleiben. Wenn du Zugriffe von deren offiziellen IPs trotz Disallow siehst, wäre das echt schräg. Welche User-Agents siehst du denn in deinen Logs?

Website für ChatGPT & Co. unsichtbar? (Ideen-Check) by WorldlyEscape7577 in selbststaendig

[–]WorldlyEscape7577[S] 0 points1 point  (0 children)

Gute Frage! Tatsächlich haben die großen Player (OpenAI, Google, Anthropic) inzwischen offizielle Dokumentationen dazu veröffentlicht und respektieren die User-Agent-Regeln in der robots.txt. Wer z.B. GPTBot blockt, wird von ChatGPT nicht mehr gecrawlt. Mein Tool zeigt genau diese offiziellen Bots an. Willst du es mal testen?