岗位职责:
1、负责多平台信息爬取和页面内容的提取分析，负责破解各类反爬机制;
2、负责网页的数据抓取和爬取链路优化(包括逆向分析、脱壳、加密参数破解、抓取攻防等)，提升抓取能力;
3、负责日常业务系统运营支撑工作(BSP,vSIM-COR E，web 网站，终端系统，业务应用监控系统等)，相关运营支撑工具的开发(Python、go);
4、负责业务运营支撑系统的部署、发布、变更以及持续优化;针对各系统编写并维护自动化运维脚本;

任职要求:
1、3年以上python爬虫经验，本科及以上学历，计算机相关专业，有电商类数据经验优先;
2、熟练掌握Python语言或JAVA语言，熟练掌握JS语言、有APP数据采集经验者优先;
3、精通数据采集技术，熟悉HttpClient/jsoup/XPath/C SS/正则表达式/验证码加密处理/代理池等网页信息抽取技术，熟悉HTTP底层协议;熟悉mysql、redis、elastic search、clickhouse等数据，熟悉Linux，MySQL，有一定的公有云经验，了解SparkSQL，Spark MLlib，S park Streaming以及Spark GraphX，Hadoop、Hive等大数据工具，Amazon SageMaker;
4、精通各种反爬技术，并能够通过多种应对策略(如代理池、模拟登录、验证码与滑块的处理、浏览器渲染等)来保证数据的持续交付;
5、熟悉网页数据采集原理及技术，熟悉基于Cookie的网站登录原理;