ミニウィキ

by ペコネットの編集部員

トレース:

sites:robots

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

--- sites:robots [2024/11/07 14:30] – 作成 peconet
+++ sites:robots [2024/12/16 19:20] (現在) – peconet
@@ 行 1: / 行 1: @@
 ====== robots.txtについて ======
-robots.txtは検索エンジンにサイトのURL（ディレクトリ・ファイル）の可不可を伝えるテキストファイルです。
+robots.txtは検索エンジンにサイトのURL（ディレクトリ・ファイル）へのクロールの可不可を伝えるテキストファイルです。
 ===== Googleによる例 =====
+Googleのガイドによる記述例
 <code>User-agent: Googlebot
 Disallow: /nogooglebot/
@@ 行 10: / 行 10: @@
 Allow: /
-Sitemap: https://www.example.com/sitemap.xml</code>
+Sitemap: https://www.example.com/sitemap.xml</code>\\
+==== この robots.txt の説明 ====
+【１】Googlebot という名前のユーザー エージェントには、https://example.com/nogooglebot/ で始まるいかなる URL のクロールも許可していません。
+【２】他のすべてのユーザー エージェントには、サイト全体のクロールを許可しています。このルールは記載していなくても同じ結果になります。**デフォルトの動作として、すべてのユーザー エージェントはサイト全体のクロールを許可されている**ためです。
+===== 概要 =====
+従って「ユーザーエージェント」「クロールを許可しない」「サイトマップ」の3つの要素で記述をする。
+ただし「クロールを許可しない」URL指定の中で一部許可するものがあれば「Allow:」でURL指定する。
+==== User-agent ====
+ユーザーエージェントは基本的に「*」すべてのクローラーを指定。
+==== Disallow ====
+クロールを許可しないURLの指定。「Disallow:」のみで指定を空白にすると全てのURLのクロールを許可と同じ意味になる。
+==== Allow ====
+クロールを許可しないURLの中の一部許可するURLの指定
+==== Sitemap ====
+サイトマップのURLを記述。（複数指定可）
+===== 上記を踏まえた記述例 =====
+=== 例１ ===
+<code>User-agent: *
+Disallow:
+Sitemap: https://www.mysite.com/sitemap.xml</code>
+\\
+=== 例２ ===
+<code>User-agent: *
+Disallow: /example/
+Allow: /example/aaa/
+Allow: /example/bbb/ccc.html
+Sitemap: https://www.mysite.com/sitemap.xml
+Sitemap: https://www.mysite.com/blog/sitemap.xml
+</code>\\

sites/robots.1730957409.txt.gz · 最終更新: 2024/11/07 14:30 by peconet