robots.txtは検索エンジンにサイトのURL（ディレクトリ・ファイル）の可不可を伝えるテキストファイルです。

Googleのガイドによる記述例

User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

• User-Agent
• Disallow
• Sitemap

3つの要素を記述します。