この道具の仕組み
全ボット対象のUser-agent行へDisallow/Allowを1パスずつ追加し、サイトURLからsitemap.xmlのURLを組み立てます。
入力と結果の例
入力例
- 入力
- /admin/ を除外
- 結果
- User-agent: * / Disallow: /admin/
使う前に知っておくこと
- 01robots.txtは協力的なクローラーへの指示であり、認証の代替ではありません。
- 02検索結果からの削除にはnoindexや検索エンジン側の手続きが必要です。
robots.txtヘルパー
robots.txtヘルパーは、クロール許可方針・除外パス・サイトマップからrobots.txt草案を作ります。 入力内容はこの端末のブラウザ内で処理し、結果と前提を同じ画面で確認できます。
入力はブラウザ内で処理登録不要最終検証 2026.07.15
入力する
見えている項目だけで使えます。
詳細設定必要なときだけ変更できます
結果を見る
入力すると、すぐに更新されます。
robots.txt3 除外
User-agent: * Disallow: /admin/ Disallow: /drafts/ Disallow: /search Allow: /admin/public/ Sitemap: https://example.com/sitemap.xml
robots.txtはアクセス制御や機密保護ではありません。公開前に検索エンジンのテスターでも確認してください。