爬虫开发工程师

岗位职责：

- 设计并实现高效、稳定、可扩展的爬虫系统，确保数据的实时性与完整性

- 深⼊研究各类反爬机制，开发绕过验证码、限流、 IP 封禁等策略，提升爬虫成功率

- 实现代理池、动态 UA、 Cookies 管理、 Session 维持等反爬解决方案

- 提升爬虫性能，优化爬取速度、数据存储结构及请求并发模型

岗位要求：

- 不限学历和专业

- 熟练使用 Python 技术栈： Scrapy、 Playwright、Selenium、Httpx、 Requests 等爬虫框架与库

- 熟悉反爬策略，包括但不限于代理池、 IP 轮换、验证码识别、动态加载页面解析、 JavaScript 渲染页面抓取等

- 有丰富的绕过网页限制经验，掌握如浏览器指纹、 Cookies 仿真、 Session 维持、前端加密破解等技术

- 熟悉异步编程、多进程、分布式爬虫架构，具备大规模数据爬取与存储经验