# 検索エンジンの通常クロールは許可
User-agent: *
Allow: /

# --- AI学習用クローラー(帯域・コスト対策で拒否) ---
# ChatGPT のユーザー操作起点フェッチ (ChatGPT-User) や /mcp 経由の
# AI 連携には影響しない。Google-Extended / Applebot-Extended は
# 検索クロールに影響せず AI 学習利用のみをオプトアウトするトークン。
User-agent: meta-externalagent
User-agent: meta-webindexer
User-agent: GPTBot
User-agent: CCBot
User-agent: Bytespider
User-agent: Amazonbot
User-agent: Amzn-SearchBot
User-agent: PetalBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

# --- SEO分析ツール系クローラー(拒否) ---
User-agent: SemrushBot
User-agent: DotBot
User-agent: AhrefsBot
User-agent: MJ12bot
User-agent: DataForSeoBot
User-agent: SleepBot
Disallow: /

# --- Baidu(拒否。中国語圏SEOが必要になったら削除) ---
User-agent: Baiduspider
Disallow: /

Sitemap: https://manda.bz/sitemap.xml