# Bio-Weingut Frühwirth — robots.txt (IT-585)
# Crawlen ist erlaubt; die Vor-Launch-Indexierung wird NICHT hier per Disallow
# gesperrt, sondern per <meta name="robots" content="noindex"> ausgesteuert
# (default an, erst beim Go-Live über SITE_INDEXABLE=true abgeschaltet) — so
# respektieren Crawler den noindex, statt die URLs ungecrawlt-aber-indexiert
# zu lassen.
User-agent: *
Allow: /

# KI-Suchen und -Assistenten ausdruecklich willkommen (IT-3284, Hans 28.09.2026:
# "die ganze website fuer KI optimieren"). Einkaufsliste fuer sie: /llms.txt.
# Eine benannte Gruppe gilt fuer diesen Crawler STATT der *-Gruppe; deshalb
# steht hier nur Allow, nie ein Disallow, das * nicht auch hat.
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: Google-Extended
Allow: /

Sitemap: https://fruehwirth.bio/sitemap-index.xml