# robots.txt 產生器

URL: https://tools.otaku-dojo.com/zh-tw/robots-txt-generator
Updated: 2026-10-03

robots.txt 產生器幫你用表單產生正確格式的 robots.txt：設定預設允許或禁止抓取、列出要封鎖或例外允許的路徑、加入 Sitemap 網址，並可以選擇封鎖 AI 訓練爬蟲（GPTBot、Google-Extended、ClaudeBot、CCBot 等）或所有 AI 爬蟲。產生後直接下載，放在網站根目錄即可。

## 如何使用robots.txt 產生器

1. 選擇預設規則：一般網站選「允許全部」。
2. 在「禁止抓取的路徑」每行輸入一個路徑，例如 /admin/。
3. 選擇 AI 爬蟲政策，並填入 Sitemap 網址。
4. 按「下載」取得 robots.txt，上傳到網站根目錄（https://你的網域/robots.txt）。

## 規格與重點

- **依循標準**: RFC 9309（Robots Exclusion Protocol）
- **可設定**: 預設規則、Disallow、Allow、Crawl-delay、Sitemap
- **AI 訓練爬蟲**: GPTBot、Google-Extended、ClaudeBot、CCBot、Applebot-Extended、meta-externalagent、Bytespider
- **AI 搜尋爬蟲**: OAI-SearchBot、ChatGPT-User、Claude-SearchBot、Claude-User、PerplexityBot、Perplexity-User
- **放置位置**: 網站根目錄，例如 https://example.com/robots.txt
- **費用**: 免費、免註冊

## 範例: 一般網站，封鎖後台並禁止 AI 訓練

```text
禁止：/admin/、/cart｜AI：封鎖訓練用爬蟲｜Sitemap
```

→

```text
User-agent: *
Disallow: /admin/
Disallow: /cart

# Block AI training crawlers
User-agent: GPTBot
User-agent: Google-Extended
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Bytespider
Disallow: /

Sitemap: https://example.com/sitemap.xml
```

## 常見問題

### 用 robots.txt 禁止的頁面就不會出現在 Google 嗎？

不一定。robots.txt 只禁止「抓取」，如果其他網站連到該頁，Google 仍可能只顯示網址。要確保不被收錄，請改用 noindex（並允許抓取讓 Google 看得到 noindex）。

### Crawl-delay 有用嗎？

Bing 與部分爬蟲會遵守，Googlebot 不支援。一般網站不需要設定。

### 所有爬蟲都會遵守 robots.txt 嗎？

主要的搜尋引擎與 AI 公司爬蟲都會遵守，但 robots.txt 只是公開的請求，惡意爬蟲可能忽略，敏感資料請用登入或防火牆保護。

### 路徑可以用萬用字元嗎？

可以。* 代表任意字元、$ 代表網址結尾，例如 Disallow: /*.pdf$ 會封鎖所有 PDF。