robots.txt 作成ツール｜AI クローラー対策

robots.txt 作成ツールの使い方

基本ルールを選びます。一般的なサイトは「すべて許可」です。
「ブロックするパス」に 1 行に 1 つずつ入力します（例：/admin/）。
AI クローラーの方針を選び、sitemap の URL を入力します。
「ダウンロード」した robots.txt をサイトのルート（https://ドメイン/robots.txt）にアップロードします。

使用例

管理画面をブロックし、AI 学習を拒否

入力

ブロック：/admin/、/cart｜AI：学習用クローラーをブロック｜Sitemap

出力

User-agent: *
Disallow: /admin/
Disallow: /cart

# Block AI training crawlers
User-agent: GPTBot
User-agent: Google-Extended
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Bytespider
Disallow: /

Sitemap: https://example.com/sitemap.xml

AI クローラーをブロックする前に

AI クローラーには 2 種類あります。学習用（GPTBot、Google-Extended、ClaudeBot、CCBot）はモデルの学習のためにコンテンツを収集し、検索・ユーザー操作用（OAI-SearchBot、ChatGPT-User、PerplexityBot、Claude-SearchBot）はユーザーの質問時にページを読み、出典としてリンクします。

ChatGPT の検索や Perplexity などの AI 回答で出典として引用されたい場合は、学習用だけをブロックし、検索用は許可しておくのがおすすめです。Google-Extended をブロックしても Google 検索の順位には影響しません。

仕様とポイント

準拠規格	RFC 9309（Robots Exclusion Protocol）
設定項目	基本ルール、Disallow、Allow、Crawl-delay、Sitemap
AI 学習クローラー	GPTBot、Google-Extended、ClaudeBot、CCBot、Applebot-Extended、meta-externalagent、Bytespider
AI 検索クローラー	OAI-SearchBot、ChatGPT-User、Claude-SearchBot、Claude-User、PerplexityBot、Perplexity-User
設置場所	サイトのルート（例：https://example.com/robots.txt）
料金	無料・登録不要

よくある質問

robots.txt でブロックすれば Google に表示されませんか？

必ずしもそうではありません。robots.txt はクロールを拒否するだけで、他サイトからリンクされていれば URL だけが表示されることがあります。検索結果に出したくない場合は noindex を使い、Google がそれを読めるようクロールは許可してください。

Crawl-delay は効果がありますか？

Bing など一部のクローラーは従いますが、Googlebot は対応していません。一般的なサイトでは不要です。

すべてのクローラーが robots.txt に従いますか？

主要な検索エンジンや AI 企業のクローラーは従いますが、robots.txt は公開された「お願い」であり、アクセス制御ではありません。機密情報はログインなどで保護してください。

パスにワイルドカードは使えますか？

使えます。* は任意の文字列、$ は URL の末尾を表し、Disallow: /*.pdf$ ですべての PDF をブロックできます。