Re: moteur d'indexation

BoOz <[email protected]>
Newsgroups gmane.comp.web.spip.devel
Message-ID <CAOSy7R5jxU1VLe8=Pp_xX=wp1iv2tAj_8oUmNO-pgs569izJUw@mail.gmail.com>
Hello,

Il y a en fait deux situations différentes.

Dans la première gérée par l'écran de sécurité, on a affaire a des bots qui
parcourent le site pour diverses raisons (indexer pour les moteurs de
recherche, chercher des trous de sécurité pour des entreprises
spécialisées, faire des trucs chelou pour les startup, faire n'importe quoi
pour des spammeurs etc...).

Si le site est surchargé, on leur demande de revenir faire ça plus tard.
Sauf pour les "botfriends" qu'on ne souhaite pas éconduire (quelques
réseaux sociaux ou lecteurs rss influents qui constituent des moyens de
lire le site à distance).

La seconde situation gérée par le plugin-dist/statistiques et sa
engine-list.txt, est caractérisée par des visites de vrais gens (ou vrais
autres bots parfois) effectuées depuis les services tiers qui opèrent les
bots venus précédemment parcourir le site.

Par exemple une personne qui cherche "spip" sur Qwant
https://www.qwant.com/?q=spip&t=web

Quand la visite arrive sur le site, SPIP va détecter que sa provenance est
le site Qwant et l'indiquer comme ça dans la liste des liens entrant du
panneau des stats.

Donc dans engine-list.txt on indique les sites dont on souhaite
caractériser la provenance dans les stats, et dans l'écran de sécu les
sites qu'on ne veut pas compter dans les stats, voire qu'on souhaite
éconduire en cas de charge importante sur le serveur.

BoOz












Le jeu. 8 nov. 2018 à 21:23, Franck <[email protected]> a écrit :

> Si c’est bien ça, la liste des robots qui est dans
> https://zone.spip.net/trac/spip-zone/browser/spip-zone/_core_/plugins/statistiques/engines-list.txt#L67
> devrait être identique à la liste qu’il y a dans l’écran de sécu, non ?
>
>
>
lmpx.com only provides a reader for public news (NNTP) servers. It is not affiliated with the servers or forums shown here and is not responsible for the content of articles, which is written by their respective authors.