工作职责:
(1)参与公司基础架构平台搭建、运维以及优化。
(2)制定整个团队技术路线和实施方案。
(3)制定方案保证整体集群稳定性,包括HDFS、Yarn、Presto、HBase、Hive、Flink、Airflow。
(4)引入开源社区的Patch进行整体集群的例行升级。
任职资格:
(1)掌握集群的安装和部署,有大集群运维和优化经验者优先。
(2)精通Hadoop、Hive、Kylin、Spark、Presto、Sqoop、HBase等技术,有多个大数据框架源码阅读、修改的经验的优先。
(3)了解集群资源管理yarn/mesos者优先。
(4)善于分析和解决问题,比较强的学习和创新能力,有责任心。
(5)负责过500台以上集群的运维和管理者优先。