理聘网-职位详情页，大数据开发工程师

岗位职责 1.负责大数据平台的功能设计和开发； 2.熟悉主流大数据计算引擎Hadoop、Spark、HBase、Hive、ES等分布式相关的技术及组件，深刻理解内部机制和原理； 3.熟练掌握Java开发语言，具备迅速处理复杂数据的能力。 任职要求 1.本科及以上学历，计算机相关专业； 2.具备大型分布式、高并发、高负载、高可用系统设计、开发及调优经验，有大数据平台的软件开发、部署经验； 3.熟悉Spark分布式计算框架原理和编程模型，zookeeper 分布式协调服务的使用； 4.熟悉 Hadoop生态圈技术栈、HBase、Hive、MapReduce等； 5.熟悉Spring等后台开发框架，以及MySQL等关系数据库的设计与优化； 6.熟悉 Spark、Kafka、Zookeeper、K8S等开源组件，具备开源项目集成开发经验优先； 7.熟悉主流大数据计算引擎MapReduce Hadoop、Pig、Spark、HBase、Hive等分布式相关的技术及组件，深刻理解内部机制和原理； 8.熟悉Kafka、Elasticsearch、Flink等实时系统组件； 9.具有良好的编程能力，熟练掌握Java（或者Scala），具备迅速处理复杂数据的能力； 10.追求优秀的设计和代码质量，有良好的责任心和执行力，具备独立分析能力、解决问题能力； 11.有Hadoop、Spark、HBase深入源代码分析经验，熟悉数据仓库的技术架构和实施方法论，并支撑过实际业务场景优先； 12. 熟悉容器、k8s的使用。