[dist] Mise a jour des Disallow/Noindex pour permettres aux (...)
Cerdic <[email protected]>
| Newsgroups | gmane.comp.web.spip.cvs |
|---|---|
| Message-ID | <[email protected]> |
spip/dist
-
Par Cerdic, le 17 février 2021 à 11h45min :
Mise a jour des Disallow/Noindex pour permettres aux robots sociaux d'acceder aux images referencees dans les pages html, mais eviter aux robots d'indexation de parcourir ces memes dossiers. Au passage on bloque aussi les ?action= les *.api/ et la page de login
*Modifié*
robots.txt.html
Détails : https://git.spip.net/spip/dist/commit/7534b22f9838bdd9699b7f9b39a82feeb2ec3058