Exploration de sites Web: un guide sur tout ce que vous devez savoir
Comprendre l’exploration de sites Web et la façon dont les moteurs de recherche explorent et indexent les sites Web peut être un sujet déroutant. Tout le monde le fait un peu différemment, mais les concepts généraux sont les mêmes.
Voici une brève description de ce que vous devez savoir sur la façon dont les moteurs de recherche explorent votre site Web.
Alors, qu’est-ce que l’exploration de sites Web?
L’exploration de sites Web est la récupération automatisée de pages Web par un processus logiciel, dont le but est d’indexer le contenu des sites Web afin qu’ils puissent être recherchés. Le robot analyse le contenu d’une page à la recherche de liens vers les pages suivantes à récupérer et à indexer.
Quels types de crawls existe-t-il?
Deux des types les plus courants d’exploration qui obtiennent du contenu à partir d’un site Web sont:
Les explorations de site sont une tentative d’exploration d’un site entier en une seule fois, en commençant par la page d’accueil. Il récupérera les liens de cette page pour continuer à explorer le site vers d’autres contenus du site. Ceci est souvent appelé «Spidering».
Les explorations de page, qui sont la tentative par un robot d’exploration d’explorer une seule page ou un article de blog.
Existe-t-il différents types de robots d’exploration?
Il existe certainement différents types de robots d’exploration. Mais l’une des questions les plus importantes est: « Qu’est-ce qu’un robot d’exploration? » Un robot d’exploration est un processus logiciel qui va vers des sites Web et demande le contenu comme le ferait un navigateur. Après cela, un processus d’indexation sélectionne le contenu qu’il souhaite enregistrer. En général, le contenu indexé est tout texte visible sur la page.
Différents moteurs de recherche et technologies utilisent différentes méthodes pour obtenir le contenu d’un site Web avec les robots d’exploration:
Les analyses peuvent obtenir un instantané d’un site à un moment donné, puis réexplorer périodiquement l’ensemble du site. Ceci est généralement considéré comme une approche de «force brute» car le robot essaie à chaque fois de réexplorer l’intégralité du site. Ceci est très inefficace pour des raisons évidentes.
Cependant, cela permet au moteur de recherche d’avoir une copie à jour des pages, donc si le contenu d’une page particulière change, cela permettra éventuellement de rechercher ces modifications.
Les explorations d’une seule page vous permettent d’explorer ou de réexplorer uniquement le contenu nouveau ou mis à jour. Il existe de nombreuses façons de trouver du contenu nouveau ou mis à jour. Ceux-ci peuvent inclure des plans de site, des flux RSS, des services de syndication et de ping, ou des algorithmes d’exploration qui peuvent détecter un nouveau contenu sans explorer l’ensemble du site.
Les robots d’exploration peuvent-ils toujours explorer mon site?
En règle générale, toute difficulté à explorer un site Web a plus à voir avec le site lui-même et moins avec le robot qui tente de l’explorer. Les problèmes suivants peuvent entraîner l’échec d’un robot:
Le propriétaire du site refuse l’indexation et / ou l’exploration à l’aide d’un fichier robots.txt.
La page elle-même peut indiquer qu’elle ne doit pas être indexée et que les liens ne sont pas suivis (directives intégrées dans le code de la page). Ces directives sont des balises «méta» qui indiquent au robot comment il est autorisé à interagir avec le site.
Le propriétaire du site a bloqué une adresse IP de robot d’exploration ou un «agent utilisateur» spécifique.
Toutes ces méthodes sont généralement utilisées pour économiser de la bande passante pour le propriétaire du site Web ou pour empêcher les processus malveillants d’accéder au contenu.
Certains propriétaires de sites ne souhaitent tout simplement pas que leur contenu puisse faire l’objet de recherches. On ferait ce genre de chose, par exemple, si le site était avant tout un site personnel, et pas vraiment destiné à un public général.
Je pense qu’il est également important de noter ici que le fichier robots.txt et les directives méta ne sont en réalité qu’un «gentlemen’s agreement», et que rien n’empêche un robot vraiment impoli de ramper. Les robots d’exploration sont polis et ne demanderont pas les pages qui ont été bloquées par le fichier robots.txt ou les directives méta.
Comment optimiser mon site Web pour qu’il soit facile à explorer?
Vous pouvez prendre certaines mesures pour créer votre site Web de manière à ce qu’il soit plus facile pour les moteurs de recherche de l’explorer et de fournir de meilleurs résultats de recherche. Le résultat final sera plus de trafic vers votre site et permettra à vos lecteurs de trouver votre contenu plus efficacement.
Conseils d’accessibilité aux moteurs de recherche:
Avoir un ou des flux rss pour que, lorsque vous créez un nouveau contenu, le logiciel de recherche puisse reconnaître le nouveau contenu et l’explorer plus rapidement. Il utilise les flux sur votre site comme un indicateur que vous avez du nouveau contenu disponible.
Soyez sélectif lorsque vous bloquez les robots d’exploration à l’aide de fichiers robots.txt ou de directives de balises méta dans votre contenu. La plupart des plateformes de blog vous permettent de personnaliser cette fonctionnalité d’une manière ou d’une autre. Une bonne stratégie à utiliser est de laisser les moteurs de recherche en qui vous avez confiance et de bloquer ceux que vous n’avez pas.
Construire une structure de document cohérente. Cela signifie que lorsque vous créez votre page html, le contenu que vous souhaitez analyser est toujours au même endroit dans la même section de contenu.
Avoir du contenu et pas seulement des images sur une page. Les moteurs de recherche ne peuvent trouver une image que si vous fournissez du texte ou des descriptions de balises alt pour cette image.
Essayez (dans les limites de la conception de votre site) d’avoir des liens entre les pages afin que le robot puisse apprendre rapidement que ces pages existent. Si vous dirigez un blog, vous pouvez, par exemple, avoir une page d’archive avec des liens vers chaque article. La plupart des plateformes de blogs fournissent une telle page. Une page de plan de site est un autre moyen d’informer un robot d’exploration de nombreuses pages à la fois.
Lire aussi: