RSS et bots

Bonjour,

Je viens de lire avec intérêt 
https://lehollandaisvolant.net/?d=2021/01/25/18/31/26-contourner-les-paywall-astuce-pour-vos-scripts

Extraits :
"Les sites et blogs veulent que Google détecte leur site y compris le 
titre. Donc s’ils voient un « Google Bot », ils lui envoient une page 
simplifiée, sans script à la con.

Si vous utilisez Wget ou cURL, ajoutez une option pour spécifier 
l’user-agent utilisé et mettez ça :"

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

…/…

"D’un côté une partie des sites mettent des captchas partout pour savoir 
si vous êtes bien un humain et avoir accès aux fonctionnalités, de 
l’autre, les pages qu’ils servent aux robots indexeurs sont 100 fois 
mieux que celles servies aux humains."


==> Et au milieu de tout ça, SPIP résiste encore et toujours à 
l'envahisseur. Merci.


-- 
RealET


_______________________________________________
liste: https://listes.rezo.net/mailman/listinfo/spip-dev
doc: https://www.spip.net/
dev: https://core.spip.net/
irc://irc.freenode.net/spip