Qu'est-ce qu'un fichier robots.txt ?
Un fichier robots.txt indique aux robots d'indexation des moteurs de recherche quelles pages ou fichiers ils peuvent ou ne peuvent pas demander sur votre site. Le fichier robots.txt est un standard du web que la plupart des bons robots consultent avant de faire des requêtes sur un domaine spécifique.
Vous pourriez vouloir protéger certaines parties de votre site contre l'exploration et donc l'indexation, comme votre CMS ou interface d'administration, les comptes utilisateurs de votre boutique en ligne, ou certaines routes d'API, pour n'en citer que quelques-unes. Ces fichiers doivent être servis à la racine de chaque hôte, ou vous pouvez rediriger le chemin /robots.txt vers une URL de destination et la plupart des robots suivront cette redirection.
Comment ajouter un fichier robots.txt à un projet Next.js
Grâce à la servitude de fichiers statiques dans Next.js, nous pouvons facilement ajouter un fichier robots.txt. Pour ce faire, nous créons un nouveau fichier nommé robots.txt dans le dossier public à la racine du projet. Voici un exemple de ce que vous pourriez mettre dans ce fichier :
//robots.txt
# Bloquer tous les robots pour /accounts
User-agent: *
Disallow: /accounts
# Autoriser tous les robots
User-agent: *
Allow: /Lorsque vous exécutez votre application avec yarn dev, elle sera désormais disponible à l'adresse http://localhost:3000/robots.txt. Notez que le nom du dossier public ne fait pas partie de l'URL.
Ne renommez pas le dossier public. Son nom ne peut pas être modifié et c'est le seul dossier utilisé pour servir les ressources statiques.