# robots.txt for https://www.piceeducare.com/
# AI bots allowed • Search engines allowed • Admin & system protected

############################################################
# 1. ALLOW ALL GOOD CRAWLERS INCLUDING AI CRAWLERS
############################################################

User-agent: *
Allow: /

# AI Crawlers (Explicit Allow - Optional but clear)
User-agent: GPTBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: CCBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: OAI-HTTP
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: Applebot
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: DuckDuckBot
Allow: /

############################################################
# 2. BLOCK ADMIN, AUTH, SYSTEM & SENSITIVE PATHS
############################################################

# Admin panel
Disallow: /admin/
Disallow: /admin/login

# Auth/account routes (if exist)
Disallow: /login
Disallow: /register
Disallow: /password/
Disallow: /user/
Disallow: /profile/
Disallow: /settings/

# Laravel system folders (must not be publicly indexed)
Disallow: /vendor/
Disallow: /storage/
Disallow: /node_modules/
Disallow: /resources/
Disallow: /config/
Disallow: /bootstrap/

# Sensitive files
Disallow: /.env
Disallow: /artisan
Disallow: /composer.json
Disallow: /composer.lock
Disallow: /package.json

############################################################
# 3. BLOCK ONLY HARMFUL SCRAPERS (SAFE TO BLOCK)
############################################################

User-agent: DotBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

############################################################
# 4. ALLOW PUBLIC CONTENT (OPTIONAL EXPLICIT WHITELIST)
############################################################

Allow: /admission/
Allow: /admission/mbbs-abroad/
Allow: /admission/mbbs-in-india/

############################################################
# 5. SITEMAPS
############################################################

Sitemap: https://www.piceeducare.com/sitemap_index.xml