robots.txt オンラインジェネレーター

robots.txtファイルとは

• robots.txt（全て小文字）は、ウェブサイトのルートディレクトリに配置されるテキストファイルで、一般的には、検索エンジンのクローラ（別名：ウェブスパイダー）に、このサイトのどのコンテンツが検索エンジンに取得されべきでないか、取得可能かを教えます。
• システムによってはURLが大小文字を区別するため、robots.txtは小文字で統一すべきです。robots.txtはウェブサイトのルートディレクトリに配置してください。
• 検索エンジンのクローラーがサブディレクトリにアクセスする際の動作を独立して定義したい場合、カスタム設定をルートディレクトリのrobots.txtに統合するか、robotsメタデータを使用することができます。
• robots.txtは規範ではなく慣習に基づくもので、サイトのプライバシーを保証しません。robots.txtはURLの取得を判定するため、ディレクトリの最後にスラッシュ「／」があれば無、なければ別のURLとみなされます。robots.txtは「Disallow: *.gif」といったワイルドカードを使用可能です。
• ロボット協定は、以下の原則に基づいた国際インターネット界の倫理規範です：1. 検索技術は人類に貢献し、情報提供者の意志とプライバシーを尊重し、保護します。2. ウェブサイトはユーザーの個人情報とプライバシーを侵害されないように守る義務があります。

robots.txt ファイルの内容：

• 検索エンジンのスパイダーの可視性または可爬行性です。
• 検索エンジンのスパイダーは、カテゴリーやファイルのアクセス性に対応しています。
• サイトのサイトマップ（sitemap）のパス定義。
• 検索エンジンスパイダーのクロール時間間隔制限。

robots.txtファイル作成ツール

• ウェブインターフェースで設定したデータを， 生成器をクリックすると、下のテキスト入力欄にrobots.txtの内容が取得できます。
• 現在、空のテキストファイルを作成し、「robots.txt」と名付けます。その後、上記の内容をコピーして「robots.txt」に貼り付けます。
• robots.txtをウェブサイトのルートディレクトリに配置し、robots.txtにアクセスして、訪問者（例：検索エンジン）がアクセスできることを確認してください。