Qu'est-ce qu'un bot ?
Les bots sont des applications logicielles conçues pour exécuter des services automatisés. Ils sont capables d'effectuer des tâches ennuyeuses et répétitives de manière beaucoup plus rapide et efficace que les humains. Sur le web, les serveurs utilisent des fichiers robots.txt