Add Custom Robots.txt File in Blogger
Views:
Add Custom Robots.txt File in Blogger
Dans l'un de mes précédents articles, j'avais discuté de l'ajout de mots-clés dans le post-référencement de Blogger pour un blogueur.
Si vous avez lu cet article, j'espère que vous êtes conscients de son importance dans les classements de recherche.
Aujourd'hui, je suis de retour avec un terme de blogging très utile et incontournable: Robots.txt.
Dans Blogger, il s’appelle Custom Robots.txt, ce qui signifie que vous pouvez maintenant personnaliser ce fichier en fonction de vos choix.
Dans le tutoriel d'aujourd'hui, nous allons discuter de ce terme en profondeur et en apprendre davantage sur son utilisation et ses avantages. Je vais également vous expliquer comment ajouter un fichier robots.txt personnalisé à Blogger.
Il est enregistré sur le site Web ou le serveur du blog, qui indique aux robots d'exploration Web comment indexer et analyser votre blog dans les résultats de la recherche.
Cela signifie que vous pouvez limiter les robots d'exploration à n'importe quelle page Web de votre blog afin qu'elle ne puisse pas être indexée dans des moteurs de recherche tels que la page de libellés de votre blog, votre page de démonstration ou toute autre page qui n'est pas aussi importante à indexer.
Rappelez-vous toujours que les robots de recherche analysent le fichier robots.txt avant d'analyser une page Web.
Chaque blog hébergé sur blogger a son fichier robots.txt par défaut qui ressemble à ceci:
==========================================
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
==========================================
Ce code est divisé en trois sections. Étudions d’abord chacun d’eux, puis nous apprendrons comment ajouter un fichier robots.txt personnalisé dans les blogs blogspot.
Agent utilisateur: Mediapartners-Google
Ce code est destiné aux robots Google Adsense, qui les aident à diffuser de meilleures annonces sur votre blog. Vous utilisez Google Adsense sur votre blog ou vous ne le laissez pas tel quel.
Agent utilisateur: *
Ceci concerne tous les robots marqués d'un astérisque (*). Par défaut, les liens des libellés de notre blog sont limités à l'indexation par les robots de recherche, ce qui signifie que les robots d'indexation Web n'indexeront pas les liens de nos pages de libellés à cause du code ci-dessous.
Interdire: / rechercher
Cela signifie que les liens ayant une recherche par mot clé juste après le nom de domaine seront ignorés. Voir ci-dessous l'exemple qui est un lien de page d'étiquette nommée SEO.
Et si nous supprimons Disallow: / search du code ci-dessus, les robots d'exploration accéderont à l'intégralité de notre blog pour indexer et analyser l'ensemble de son contenu et de ses pages Web.
Ici Autoriser: / fait référence à la page d'accueil qui signifie que les robots d'indexation Web peuvent explorer et indexer la page d'accueil de notre blog.
ow suppose que si nous voulons exclure une publication particulière de l'indexation, nous pouvons ajouter les lignes ci-dessous dans le code
Disallow: /yyyy/mm/post-url.html
Ici, aaaa et mm fait référence à l'année et au mois de publication de la publication, respectivement. Par exemple, si nous avons publié un article dans l'année 2013 au mois de mars, nous devons utiliser le format ci-dessous.
Disallow: /2013/03/post-url.html
Pour faciliter cette tâche, vous pouvez simplement copier l’URL du message et supprimer le nom du blog depuis le début.
Interdire une page particulière
Si nous devons interdire une page particulière, nous pouvons utiliser la même méthode que ci-dessus. Il suffit de copier l'URL de la page et d'en supprimer l'adresse du blog, ce qui ressemblera à ceci:
Disallow: /p/page-url.html
Plan du site: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
Ce code fait référence au plan du site de notre blog. En ajoutant le lien du plan du site ici, nous optimisons simplement le taux d'exploration de notre blog.
Cela signifie que chaque fois que les robots Web analysent notre fichier robots.txt, ils trouveront un chemin vers notre plan du site où tous les liens de nos articles publiés sont présents.
Les robots Web trouveront facilement l’exploration de tous nos messages.
Il est donc plus probable que les robots d'exploration du Web explorent tous les articles de notre blog sans en ignorer un seul.
Remarque: ce sitemap informe uniquement les robots d'exploration des 25 publications récentes. Si vous souhaitez augmenter le nombre de liens dans votre sitemap, remplacez le sitemap par défaut par un au moins. Cela fonctionnera pour les 500 premiers messages récents.
Plan du site: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
Ce code fait référence au plan du site de notre blog. En ajoutant le lien du plan du site ici, nous optimisons simplement le taux d'exploration de notre blog.
Cela signifie que chaque fois que les robots Web analysent notre fichier robots.txt, ils trouveront un chemin vers notre plan du site où tous les liens de nos articles publiés sont présents.
Les robots Web trouveront facilement l’exploration de tous nos messages.
Il est donc plus probable que les robots d'exploration du Web explorent tous les articles de notre blog sans en ignorer un seul.
Remarque: ce sitemap informe uniquement les robots d'exploration des 25 publications récentes. Si vous souhaitez augmenter le nombre de liens dans votre sitemap, remplacez le sitemap par défaut par un au moins. Cela fonctionnera pour les 500 premiers messages récents.
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Si vous avez plus de 500 articles publiés sur votre blog, vous pouvez utiliser deux sitemaps comme ci-dessous:
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000
Ajout d'un fichier Robots.Txt personnalisé à Blogger
À présent, la partie principale de ce didacticiel explique comment ajouter un fichier robots.txt personnalisé à Blogger. Donc, ci-dessous sont les étapes pour l'ajouter.
Allez sur votre blog de blogueur.
Accédez à Paramètres >> Préférences de recherche ›› Crawlers et indexation ›› Custom robots.txt ›› Éditer ›› Oui
Collez maintenant le code de votre fichier robots.txt dans la boîte.
Cliquez sur le bouton Enregistrer les modifications.
Vous avez terminé!
Comment vérifier votre fichier Robots.txt?
Vous pouvez vérifier ce fichier sur votre blog en ajoutant /robots.txt à la fin de l'URL de votre blog dans le navigateur Web. Par exemple:
http://www.yourblogurl.blogspot.com/robots.txt
Une fois que vous visitez l'URL du fichier robots.txt, vous verrez tout le code que vous utilisez dans votre fichier robots.txt personnalisé
Read More
