【大数据软件工程师】(Spark平台)
工作职责
-负责对大数据处理模块的架构设计;
-基于Spark的分布式计算框架及存储系统研发与优化工作;
-Spark技术研究和通用数据平台的性能调优;
-主动发现底层计算性能问题,并提出改进意见
岗位要求:
1.计算机或相关专业本科或以上学历;
2.3年以上大数据研发经验,良好的编程基础,至少熟悉Python/Java/Scala中的一种,熟悉Linux/Unix环境;
3.熟悉分布式系统架构,如Hadoop、Spark及分布式数据库系统等;
4.精通分布式算法,熟悉数据库原理,对优化器、执行器、存储以及索引结构有深入了解;
5.精通Java底层JVM原理,有深入调优和调错能力;
6.熟悉Spark源码者优先;
7.有团队管理经验者优先