Re: Просьба посоветоват ь некоторые сервисы
Max Nikulin <[email protected]> Mon, 14 Oct 2024 23:02:17 +0700
| Newsgroups | gmane.linux.debian.user.russian |
|---|---|
| Message-ID | <[email protected]> |
On 14/10/2024 12:13, Eugene Berdnikov wrote: >> . wget -p выдаёт нечто кое-как читаемое, но без оформления. archive,is - >> практически идеальная копия [9]https://archive.is/TukSR > В man wget поищите mirror, convert links и ограничение глубины рекурсии. Первый раз, когда увидел wget, я подумал, что это такой тонкий сарказм. Четверть века назад это более-менее работало. Сейчас без полноценного браузера много сайтов вообще ничего не захотят показывать. А на горизонте уже маячат проверки, что используется авторизованная сборка браузера, работающая в контролируемом окружении. Cloudflare даже описание оригинального markdown не даст прочитать, пока не обнюхает вдоль и поперек своим JavaScript. <https://daringfireball.net/projects/markdown> В мире, где активно продают организацию DDoS, защиту он них, защиту от web scraping и т.д. просто статических страниц становится все меньше. Иногда надо захватывать не просто то, что отрисовалось вначале, а вполне определенное состояние документа. Есть несколько браузерных расширений, которые это могут делать, например, <https://github.com/danny0838/webscrapbook/> У меня в заметках есть несколько ссылок, но я внимательно не смотрел и не уверен, что есть что-то действительно полезное. <https://habr.com/ru/companies/first/articles/584838/> 1shaman 3 ноя 2021 в 11:00 Создаём личный «Архив интернета» <https://github.com/iipc/awesome-web-archiving> Awesome Web Archiving