8.4 本章小结及要求

本章主要通过实例讲解应对反爬虫的方法。读者要重点学会对返回 json 数据的处理，了解和学习应对使用 Cookies 反爬虫的技巧。读者在遭遇反爬虫的时候，可以参考本章的思路，不断探索分析，找到网站的反爬虫机制，从而有针对性地应对服务器反爬虫。

本章要求读者爬取 36 氪“7×24h 快讯”页面的最新 50 篇文章。36 氪“7×24h 快讯”页面是一个典型的动态页面，通过仔细分析，读者会发现它加载更多文章，返回的是 json 类型的数据，读者可以综合运用前面学习的知识，下载保存这些文章。