职责：
1.参与大数据基础能力建设，支撑大数据上层计算系统、业务数据分析决策、计算资源管控等相关场景；
2.加速数据存储与处理应用，利用大数据开源组件技术，优化大规模数据的计算和处理，提升数据储存与计算效率；
3.构建数据同步集成流程，设计和实施数据采集策略，从各种数据源收集数据，确保数据的准确性和完整性；
4.参与建设数据湖体系，设计及实施湖仓一体的数据流式处理模块，强化大数据质量管理体系，持续保障数据质量；
5.参与建设大数据开源组件集成，利用相关技术栈开发大数据应用的具体功能模块，如数据同步、数据血缘、报表生成等，确保应用的易用性和交互性；
6.与业务部门沟通，理解业务需求和目标，确定大数据基础功能和性能要求，设计满足业务需求的大数据方案，实施落地，促进数据赋能。
要求：
1.本科及以上学历，计算机相关专业，具有大数据集群组件维护及开发经验，较好的业务理解和沟通能力，具备金融业务知识优先；
2.熟练掌握 Hadoop、Spark、Hive、Flink、Doris等大数据技术栈。熟悉分布式系统原理和架构，具备系统性能优化和故障排除能力；
3.拥有一定的大数据集群运维管理实施经验，熟悉开源组件集成流程。对Yarn、HDFS、RSS等数据存储和计算处理管控有深入理解，了解对常用shell命令操作；
4.熟练使用Java并具备相关开源技术使用经验：Spring Cloud、Spring Boot、Mybatis、Redis 、Kafka等；
5.能够根据业务数据特点，设计合理的大数据组件及相关功能模块，包括数据流向、应用分析等；
6.快速学习能力，对新技术和新趋势保持敏锐的洞察力，能够快速学习和应用新知识。具备优秀的团队协同能力，能够与不同团队成员有效沟通协作。

广州市小北路266号北秀大厦12楼

广州人才大数据有限公司成立于2023年，是网才科技（广州）集团股份有限公司为提升粤港澳大湾区人才战略服务的层次和水平，促进湾区人才大数据的公共性与市场性应用，推动湾区人才大数据项目落地而设立的全资子公司。
公司致力成为人才集团（人力资源企业）数字化供应商、企业数字化转型和人才大数据应用服务商，建立国内第一家人才数据交易所。为企、事业单位决策能…