爬虫的十大套路：老司机教你如何优雅地“偷”数据

凌晨两点，某互联网公司的会议室里，一个程序员盯着屏幕上的数据报表，陷入了沉思。

他们团队花了三个月做的竞品分析系统，结果抓回来的数据全是错的——要么是空页面，要么是假数据。隔壁组的大神路过，看了一眼他的代码，笑了笑：“你这是用勺子挖水库呢？”

第二天，这个程序员学会了爬虫的十大套路。

一、HTTP请求：别傻傻地直接莽

很多人以为爬虫就是写个请求、拿个响应，简单得像去超市买瓶水。

Too young，too simple。

实际情况是，很多网站会把你的请求头翻个底朝天。User-Agent、Referer、Accept-Language这些Headers，少一个都不行。我之前爬一个资讯网站，它居然还检测Cookie里有没有"visited"字段，没有直接返回403——简直比门口保安查身份证还严格。

实战TIP： 用Python的requests库时，别偷懒，把请求头模拟得像一个真实的浏览器。Chrome、Firefox、Safari，各有各的脾性，你得对症下药。

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    # 省略其他Headers...
}

这段代码看起来枯燥，但它是你进入网站的第一张“身份证”。没它，你连门都进不去。

二、代理IP池：别把鸡蛋放在一个篮子里

如果你天天用一个IP狂撸人家服务器，不用半天就会被封。

我认识一个做电商数据的老哥，刚入行那会儿，用自己家的宽带直接爬，结果第二天ISP（运营商）打电话过来了，说他们被投诉了——你说尴尬不尴尬？

代理IP池的核心思路很简单：轮换。

每次请求换一个IP
用失效的代理及时剔除
地域分布要合理，别全是北京IP，会被发现

市面上有很多代理服务商，质量参差不齐。便宜的几分钱一个，贵的像Luminati（现在叫Bright Data），一个月烧掉几万块的主也有。我的建议是：先测再用，别贪便宜。

三、模拟登录：搞定验证码才是真男人

有些数据，游客看不到，得登录。

登录本身不难，POST个用户名密码就行。难得是验证码。

图形验证码好说，打码平台几块钱能打几千个；滑块验证码也有专门的解决方案；但那个点选验证码——让你在几十张图片里点“所有包含红绿灯的图”——是真tm反人类。

前两年有个新闻，说某黑客组织用人工智能自动识别验证码，成功率能达到80%以上。你说这年头，连验证码都卷起来了。

当然，咱做爬虫的一定要合法合规，模拟登录仅限于授权场景，别去碰不该碰的东西。

四、动态渲染：JS加载的内容怎么抓？

有些网站，数据是JavaScript动态渲染的。你用requests直接请求，返回的HTML里啥也没有，空荡荡得像被洗劫过。

这时候你得请出两尊大神：Selenium 和 Playwright。

Selenium是个老牌选手，模拟浏览器行为，点击、滚动、等待JS执行，样样精通。缺点是慢，一个页面加载个十几秒是常态。

Playwright是微软出的后起之秀，速度快，API设计也优雅。现在很多新项目都转投Playwright了，毕竟谁不想快呢？

# Playwright 示例
async with async_playwright() as p:
    browser = await p.chromium.launch()
    page = await browser.new_page()
    await page.goto('https://example.com')
    content = await page.content()

不过这俩都占用内存厉害，一开几十个浏览器实例，服务器内存分分钟报警。所以很多人只用它们来“截图”——拿到渲染后的HTML，然后就交给requests去处理后续请求，能省不少资源。

五、分布式爬虫：一个人干不过瘾，那就一群人

当数据量大了，单机爬虫那点速度根本上不了台面。

分布式爬虫的思路很简单：多台机器同时干，分工合作。Scrapy-Redis 是最常见的方案，它用Redis做了个任务队列，甲机器往里扔任务，乙丙丁机器抢着消费。

但分布式带来的问题也不少：

重复抓取怎么办？——URL去重
某台机器挂了怎么办？——任务重试机制
数据怎么汇总？——MySQL、MongoDB、HDFS，你得选一个

我之前参与过一个项目，八台服务器同时爬，峰值QPS（每秒请求数）能到几千。那种感觉，就像开了八辆挖掘机同时挖矿，爽是真的爽，运维也是真的累。

六、增量爬取：别重复做无用功

你不可能每天都把整个网站重新爬一遍。

一是太慢，二是浪费资源，三是容易被封。

增量爬取的核心是：只抓变动的部分。

怎么做？几种思路：

时间戳比对： 记录上次抓取的时间，这次只抓更新时间大于上次的数据
内容哈希： 对比页面内容的MD5值，变了才存
只抓列表页： 列表页一般变化频繁，详情页很少变，列表页有新品再深入抓

有个做新闻聚合的朋友，跟我吐槽说他们之前全量爬，每天凌晨跑一遍，服务器电费都够买几台新电脑了。后来改成增量，每小时跑一次，只抓最近一小时更新的内容，服务器表示终于能喘口气了。

七、数据清洗：rawler一半的功夫都在这儿

抓下来的数据，往往是脏的。

HTML标签没清干净
空格换行乱码
字段对不上号
甚至还有表情符号导致的编码错误

行业里有句话：爬虫一小时，清洗一整天。

常用的清洗工具有：

BeautifulSoup： 解析HTML，提取文本
lxml： 速度快，XPath表达式写起来很爽
正则表达式： 万能但难写，关键时刻还得靠它

import re
from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'lxml')
text = soup.get_text()
text = re.sub(r'\s+', ' ', text)  # 合并空白字符
text = text.strip()

清洗这事儿没啥捷径，只能慢慢磨。就像做饭，食材再新鲜，也得洗干净的才能下锅。