robots.txt

Ajoutez ou générez un fichier robots.txt conforme au Standard d'exclusion des robots (Robots Exclusion Standard) à la racine du répertoire app pour indiquer aux robots d'indexation des moteurs de recherche quelles URLs ils peuvent accéder sur votre site.

`robots.txt` statique

app/robots.txt

User-Agent: *
Allow: /
Disallow: /private/

Sitemap: https://acme.com/sitemap.xml

Générer un fichier Robots

Ajoutez un fichier robots.js ou robots.ts qui retourne un objet Robots.

Bon à savoir : robots.js est un gestionnaire de route spécial qui est mis en cache par défaut, sauf s'il utilise une API dynamique ou une option de configuration dynamique.

import type { MetadataRoute } from 'next'

export default function robots(): MetadataRoute.Robots {
  return {
    rules: {
      userAgent: '*',
      allow: '/',
      disallow: '/private/',
    },
    sitemap: 'https://acme.com/sitemap.xml',
  }
}

Sortie :

User-Agent: *
Allow: /
Disallow: /private/

Sitemap: https://acme.com/sitemap.xml

Personnalisation pour des agents utilisateurs spécifiques

Vous pouvez personnaliser la façon dont des robots de moteurs de recherche spécifiques explorent votre site en passant un tableau d'agents utilisateurs à la propriété rules. Par exemple :

import type { MetadataRoute } from 'next'

export default function robots(): MetadataRoute.Robots {
  return {
    rules: [
      {
        userAgent: 'Googlebot',
        allow: ['/'],
        disallow: '/private/',
      },
      {
        userAgent: ['Applebot', 'Bingbot'],
        disallow: ['/'],
      },
    ],
    sitemap: 'https://acme.com/sitemap.xml',
  }
}

Sortie :

User-Agent: Googlebot
Allow: /
Disallow: /private/

User-Agent: Applebot
Disallow: /

User-Agent: Bingbot
Disallow: /

Sitemap: https://acme.com/sitemap.xml

Objet Robots

type Robots = {
  rules:
    | {
        userAgent?: string | string[]
        allow?: string | string[]
        disallow?: string | string[]
        crawlDelay?: number
      }
    | Array<{
        userAgent: string | string[]
        allow?: string | string[]
        disallow?: string | string[]
        crawlDelay?: number
      }>
  sitemap?: string | string[]
  host?: string
}

Historique des versions

Version	Changements
`v13.3.0`	Introduction de `robots`.

robots.txt statique

Générer un fichier Robots

Personnalisation pour des agents utilisateurs spécifiques

Objet Robots

Historique des versions

On this page

`robots.txt` statique