# robots.txt 作成ツール

URL: https://tools.otaku-dojo.com/ja/robots-txt-generator
Updated: 2026-10-03

robots.txt 作成ツールは、フォームに入力するだけで正しい形式の robots.txt を作成します。全体の許可・拒否、ブロックするパスと例外的に許可するパス、sitemap の URL を設定でき、AI 学習用クローラー（GPTBot、Google-Extended、ClaudeBot、CCBot など）またはすべての AI クローラーをブロックするかも選べます。ダウンロードしてサイトのルートに置くだけです。

## robots.txt 作成ツールの使い方

1. 基本ルールを選びます。一般的なサイトは「すべて許可」です。
2. 「ブロックするパス」に 1 行に 1 つずつ入力します（例：/admin/）。
3. AI クローラーの方針を選び、sitemap の URL を入力します。
4. 「ダウンロード」した robots.txt をサイトのルート（https://ドメイン/robots.txt）にアップロードします。

## 仕様とポイント

- **準拠規格**: RFC 9309（Robots Exclusion Protocol）
- **設定項目**: 基本ルール、Disallow、Allow、Crawl-delay、Sitemap
- **AI 学習クローラー**: GPTBot、Google-Extended、ClaudeBot、CCBot、Applebot-Extended、meta-externalagent、Bytespider
- **AI 検索クローラー**: OAI-SearchBot、ChatGPT-User、Claude-SearchBot、Claude-User、PerplexityBot、Perplexity-User
- **設置場所**: サイトのルート（例：https://example.com/robots.txt）
- **料金**: 無料・登録不要

## 使用例: 管理画面をブロックし、AI 学習を拒否

```text
ブロック：/admin/、/cart｜AI：学習用クローラーをブロック｜Sitemap
```

→

```text
User-agent: *
Disallow: /admin/
Disallow: /cart

# Block AI training crawlers
User-agent: GPTBot
User-agent: Google-Extended
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Bytespider
Disallow: /

Sitemap: https://example.com/sitemap.xml
```

## よくある質問

### robots.txt でブロックすれば Google に表示されませんか？

必ずしもそうではありません。robots.txt はクロールを拒否するだけで、他サイトからリンクされていれば URL だけが表示されることがあります。検索結果に出したくない場合は noindex を使い、Google がそれを読めるようクロールは許可してください。

### Crawl-delay は効果がありますか？

Bing など一部のクローラーは従いますが、Googlebot は対応していません。一般的なサイトでは不要です。

### すべてのクローラーが robots.txt に従いますか？

主要な検索エンジンや AI 企業のクローラーは従いますが、robots.txt は公開された「お願い」であり、アクセス制御ではありません。機密情報はログインなどで保護してください。

### パスにワイルドカードは使えますか？

使えます。* は任意の文字列、$ は URL の末尾を表し、Disallow: /*.pdf$ ですべての PDF をブロックできます。