Re: Просьба посоветоват ь некоторые сервисы

Max Nikulin <[email protected]> Mon, 14 Oct 2024 23:02:17 +0700
Newsgroups gmane.linux.debian.user.russian
Message-ID <[email protected]>
On 14/10/2024 12:13, Eugene Berdnikov wrote:
>>     . wget -p выдаёт нечто кое-как читаемое, но без оформления. archive,is -
>>     практически идеальная копия [9]https://archive.is/TukSR
>   В man wget поищите mirror, convert links и ограничение глубины рекурсии.

Первый раз, когда увидел wget, я подумал, что это такой тонкий сарказм. 
Четверть века назад это более-менее работало. Сейчас без полноценного 
браузера много сайтов вообще ничего не захотят показывать. А на 
горизонте уже маячат проверки, что используется авторизованная сборка 
браузера, работающая в контролируемом окружении.

Cloudflare даже описание оригинального markdown не даст прочитать, пока 
не обнюхает вдоль и поперек своим JavaScript.
<https://daringfireball.net/projects/markdown>

В мире, где активно продают организацию DDoS, защиту он них, защиту от 
web scraping и т.д. просто статических страниц становится все меньше.

Иногда надо захватывать не просто то, что отрисовалось вначале, а вполне 
определенное состояние документа. Есть несколько браузерных расширений, 
которые это могут делать, например,
<https://github.com/danny0838/webscrapbook/>

У меня в заметках есть несколько ссылок, но я внимательно не смотрел и 
не уверен, что есть что-то действительно полезное.

<https://habr.com/ru/companies/first/articles/584838/>
1shaman 3 ноя 2021 в 11:00
Создаём личный «Архив интернета»

<https://github.com/iipc/awesome-web-archiving>
Awesome Web Archiving