# ==============================================================================
# Robots.txt untuk SarjanaIT Blog
# ==============================================================================

User-agent: *

# --- 1. Proteksi Halaman Admin & Autentikasi (Hemat Crawl Budget & Keamanan) ---
Disallow: /admin/
Disallow: /login
Disallow: /register
Disallow: /logout
Disallow: /auth/

# --- 2. Endpoint API & Action Form Internal ---
Disallow: /api/
Disallow: /artikel/*/komentar

# --- 3. Mencegah Duplicate Content dari Parameter Pencarian URL ---
Disallow: /*?*search=
Disallow: /*?*q=

# --- 4. Izinkan Akses Aset Render (Wajib untuk Google Core Web Vitals & Mobile-Friendly) ---
Allow: /build/
Allow: /assets/
Allow: /fonts/
Allow: /storage/
Allow: /*.css$
Allow: /*.js$
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.webp$
Allow: /*.svg$

# --- 5. Izinkan Struktur Halaman Publik Utama ---
Allow: /
Allow: /artikel/
Allow: /kategori/
Allow: /tag/
Allow: /p/
Allow: /sitemap
Allow: /kontak
Allow: /about
Allow: /privacy-policy
Allow: /disclaimer
Allow: /sitemap.xml
Allow: /ads.txt

# --- 6. Lokasi Peta Situs (Sitemap Directive) ---
# Sesuaikan 'https://sarjanait.com' dengan domain live website Anda
Sitemap: https://sarjanait.com/sitemap.xml