岗位描述:
1.构建大数据平台,负责系统的技术选型、架构设计、代码开发,以及产品化。
2.负责大数据算法平台的技术把关,性能调优,控制架构质量,解决项目技术难题;
3.对研发项目和任务需求进行评估和方案设计、拆分任务并指导工程师完成开发;
4.协调解决开发中的技术问题,设计和监控运营指标,保障系统稳定运行;
5.研究大数据和算法前沿技术,对大数据算法平台迭代式进行分析及优化,不断提升算法平台的架构、性能、数据处理,以及其上的算法开发的能力。
任职要求:
1.具有8年及以上大数据架构设计和开发经验;2年及以上带领团队经验;沟通能力强。
2.在大型互联网企业从事大数据架构设计者优先考虑;有分布式大型商业软件系统设计经验、主导过大型商业软件的架构设计并取得过市场商业成功者优先考虑;
3.最近的工作内容必须包括写代码!(已经不写代码的架构师,请不要申请!)
4.熟悉整个大数据的完整处理流程,包括数据的采集、清洗、预处理、存储、分析挖据、机器学习和数据可视化;
5.对大数据基础架构和平台有深刻理解,对大数据生态体系有深入认识,熟悉Hadoop相关各种开源项目,掌握Hive、Spark、Streaming、Storm、Kafka等数据处理核心组件;对HDFS、M/R、Yarn的原理有深入了解,掌握系统优化、资源分配与权限控制。了解数据湖Kylo和Lambda架构。
6.熟悉Java/Python/Scala等一种或多种语言,熟悉Redis/MySQL,熟悉Linux平台。