Analyse de logs

Les logs sont une mine d’informations pour améliorer son référencement SEO. Si une agence SEO vous propose ses services et une analyse de logs, il est tout de même intéressant pour vous de comprendre de quoi il s’agit exactement. De la définition à leur utilisation, nous allons parler de ces fichiers qui permettent de comprendre comment les moteurs de recherche crawlent un site.

Les logs sont des fichiers qui se trouvent sur le serveur Web de votre site Internet. Ces fichiers ont pour but d’enregistrer toutes les visites sur votre site Internet. Ainsi, si un robot comme Googlebot ou un visiteur lambda se rend sur votre site Internet, une ligne de données qu’on appelle un log file sera générée sur le serveur.

Pour retrouver ces logs et pouvoir les analyser, il faut que vous puissiez accéder à votre serveur Web. Si cela vous est impossible, vous pouvez demander à l’hébergeur de votre site qui vous indiquera comment faire pour récupérer vos logs.

Ce sont des fichiers qui sont très utiles à des experts en référencement naturel, notamment pour les audits SEO afin d’évaluer les performances de vos pages web et de détecter certains problèmes techniques.

Les logs contiennent des informations détaillées sur les internautes ou sur les robots qui ont rendu visite à votre site Web. Ces données sont des « hits » qui contiennent un certain nombre d’informations comme l’heure et la date d’une requête, l’adresse IP, l’URL visitée, l’user agent (navigateurs, robots d’indexation) et des informations plus pointues comme le code-réponse HTTP de la page par exemple. Les apparences de ces fichiers varient selon le type de serveur et les configurations utilisées (par exemple sous linux, information du log Apache ; sous windows, information du log IIS)

Il est très intéressant d’avoir des informations concernant les visites de Googlebot afin d’améliorer considérablement le référencement d’un site Internet. Grâce à ces journaux de fichiers, on peut connaitre les pages qui sont crawlées par Google et à quelle fréquence les robots rendent visite à votre site Internet. Si vos pages sont régulièrement parcourues, cela indiquera que votre site est de qualité et conforme aux critères de pertinence du moteur de recherche. Dans le cas contraire, cela voudra dire que votre site rencontre des problèmes d’accessibilité que vous devez rapidement identifier.

Toutes ces informations vous permettront, alors, de mettre en place une stratégie marketing et SEO afin de provoquer l’exploration des pages importantes de votre site par les bots Google.

Une fois que votre analyse de logs a été consciencieusement réalisée, vous savez quand et comment Googlebot vient scruter votre site. Grâce aux données recueillies, vous avez l’opportunité d’orienter efficacement le moteur de recherche afin d’avoir une meilleure position dans les résultats naturels de recherche, d’augmenter votre trafic et le taux de conversions.

Malgré les énormes Data centers à sa disposition, Google ne va mettre qu’une petite partie de ses ressources dans le crawl de votre site. Il va avoir un nombre limité de pages à crawler selon la taille du site, la vitesse de chargement des pages, la mise à jour régulière du contenu et le nombre de clics générés : c’est ce que l’on appelle le Budget Crawl. Google ne dépasse quasiment jamais le budget qu’il vous a alloué. Ainsi, si votre crawl budget est de 100 pages par jour, les robots Google viendront crawler 100 pages environ et pas 200 ou 500. Il est donc indispensable que les pages crawlées par Googlebot soient celles qui ont le plus d’intérêt pour vous.

Pour que les robots de Google puissent se retrouver dans la multitude de pages qui composent votre site Internet, il est nécessaire de faire un nettoyage de temps en temps. En analysant les logs, vous avez pu constater quelles sont les pages actives et visitées ou quelles sont celles qui ne le sont jamais

Une fois toutes ces pages supprimées, le budget crawl que Google vous aura octroyé sera dépensé vers des pages qui ont un grand intérêt pour vous à être indexées afin d’améliorer votre référencement puisque Googlebot ne passera plus son temps à aller par exemple voir une page d’erreur ou encore deux fois la même page. Or sans l’analyse de logs, il est impossible de savoir identifier quelles sont les pages préférées de Google et qu’elles sont celles qu’il aime moins. Vous pouvez ensuite réaliser des restructurations de vos pages pour que Google vienne visiter vos pages moins fréquentées mais qui ont néanmoins une importance à vos yeux.

• Identifier les pages orphelines : ce sont des pages qui sont introuvables dans votre arborescence car elles ne sont pas maillées, elles ne sont rattachées à aucune autre page sur votre site. Si cela concerne plusieurs pages, cela concerne votre maillage interne et cela aura un impact sur votre pagerank et votre référencement naturel.
• Limiter au maximum les pages dupliquées : le robot va perdre du temps à crawler ces pages qui ont des urls différentes mais un même contenu. Vous risquez de gaspiller du budget crawl et le robot va passer à côté des pages stratégiques de votre site.
• Repérer les mauvaises redirections : un trop grand nombre de pages en statut code 302 ou 404 peut être problématique. Cela peut nuire à l’expérience utilisateur. Privilégier les redirections permanentes en 301.

Une fois que vous aurez procéder à une analyse complète de toutes ces pages et que vous aurez appliqué les bonnes pratiques en SEO pour corriger les éventuels problèmes, vous pourrez économiser votre budget crawl qui sera utile à des pages stratégiques qui doivent être indexées afin d’améliorer votre référencement.

Une Il existe plusieurs moyens et de nombreux outils (la plupart sont payants) qui vous aideront à analyser les fichiers de logs :

Les principales recommandations :

• Screaming frog
• OnCrawl
• Semrush

La plupart de ces outils, vous permet d’analyser vos log files, d’exporter vos données et de créer des rapports intuitifs afin de surveiller le comportement des robots sur votre site internet.

Profitez de l’expertise de notre agence web à Paris.

Découvrez nos autres agences :

• Agence SEO Lyon
• Agence SEO Lille