Araignées et Web Crawlers: Ce que vous devez savoir pour protéger les données du site Web
Les araignées, qui sont également appelées «robots d'exploration du Web», effectuent des recherches sur le Web et toutes ne sont pas amicales dans leur intention.
Spammers Spider Websites pour collecter des informations
Google, Yahoo!
et d'autres moteurs de recherche ne sont pas les seuls intéressés par l'exploration de sites Web, tout comme les escrocs et les spammeurs.
Des spiders et d'autres outils automatisés sont utilisés par les spammeurs pour trouver des adresses e-mail (sur Internet, cette pratique est souvent appelée «récolte») sur des sites Web, puis les utilisent pour créer des listes de spams.
Les araignées sont également un outil utilisé par les moteurs de recherche pour trouver plus d'informations sur votre site Web mais laissé décoché, un site sans instructions (ou «autorisations») sur la façon d'explorer votre site peut présenter des risques majeurs de sécurité de l'information. Les araignées voyagent en suivant les liens, et ils sont très habiles à trouver des liens vers des bases de données, des fichiers de programme et d'autres informations auxquelles vous ne voulez peut-être pas qu'ils aient accès.
Les webmasters peuvent voir les journaux pour voir ce que les araignées et autres robots ont visité leurs sites. Cette information aide les webmasters à savoir qui indexe leur site, et à quelle fréquence.
Cette information est utile car elle permet aux webmasters d'affiner leur référencement et de mettre à jour les fichiers robots.txt pour interdire à certains robots d'explorer leur site à l'avenir.
Conseils sur la protection de votre site Web contre les robots robots non désirés
Il existe un moyen assez simple de garder les robots non désirés hors de votre site Web. Même si vous n'êtes pas préoccupé par les araignées malveillantes qui explorent votre site (une adresse électronique obscurcie ne vous protégera pas de la plupart des robots d'exploration), vous devrez toujours fournir aux moteurs de recherche des instructions importantes.
Tous les sites Web doivent avoir un fichier situé dans le répertoire racine appelé fichier robots.txt. Ce fichier vous permet de demander aux robots d'indexation Web de rechercher des pages d'index (sauf indication contraire dans les métadonnées d'une page spécifique pour qu'elles ne soient pas indexées) s'il s'agit d'un moteur de recherche.
Tout comme vous pouvez dire aux robots d'exploration voulus où vous voulez qu'ils naviguent, vous pouvez également leur dire où ils ne peuvent pas aller et même bloquer des robots spécifiques de votre site Web.
Il est important de garder à l'esprit qu'un fichier robots.txt bien mis en place aura une valeur énorme pour les moteurs de recherche et pourrait même être un élément clé dans l'amélioration des performances de votre site Web, mais certains robots ignorent vos instructions. Pour cette raison, il est important de garder tous vos logiciels, plugins et applications à jour en tout temps.
Articles et informations connexes
En raison de la prévalence de la collecte d'informations utilisée à des fins malveillantes (spam), une loi a été adoptée en 2003 pour rendre certaines pratiques illégales. Ces lois de protection des consommateurs relèvent de la loi CAN-SPAM de 2003.
Il est important que vous preniez le temps de lire la loi CAN-SPAM si votre entreprise se livre à des envois de masse ou à la récolte d'informations.
Vous pouvez en savoir plus sur les lois anti-spam et sur la façon de gérer les spammeurs, et ce que vous ne pouvez pas faire en tant que propriétaire d'entreprise en lisant les articles suivants:
- CAN-SPAM Act 2003
- Règles de la loi CAN-SPAM pour les organismes sans but lucratif
- 5 Règles CAN-SPAM Les propriétaires de petites entreprises doivent comprendre