位置: 文档库 > 求职简历 > Hive资源管理工程师简历模板

Hive资源管理工程师简历模板

ValueStreamer 上传于 2024-01-27 10:35

《Hive资源管理工程师简历模板》

一、个人信息

姓名:张明

性别:男

年龄:32岁

联系方式:138-XXXX-XXXX

电子邮箱:zhangming@example.com

现居地:北京市海淀区

求职意向:Hive资源管理工程师

期望薪资:25K-35K/月

到岗时间:1个月内

二、教育背景

2010.09-2014.06 清华大学 计算机科学与技术专业 本科

主修课程:数据结构、操作系统、数据库原理、分布式计算、大数据技术

毕业论文:《基于Hive的分布式数据仓库优化研究》

2014.09-2017.06 北京大学 软件工程硕士

研究方向:大数据资源调度与管理

学术成果:发表SCI论文2篇(IEEE Transactions on Cloud Computing)

三、工作经历

2017.07-2020.12 阿里巴巴集团 数据平台部 Hive资源管理工程师

职责描述:

1. 负责MaxCompute平台Hive集群资源调度策略优化,通过动态资源分配算法将任务平均等待时间降低40%

2. 设计并实现基于YARN的弹性资源扩容方案,在双11期间支撑日均PB级数据处理,资源利用率提升至85%

3. 开发资源使用监控系统,集成Prometheus+Grafana实现实时资源可视化,异常检测准确率达92%

4. 主导Hive元数据管理优化项目,通过分区表优化和索引重构使查询效率提升3倍

5. 参与跨部门协作,与计算引擎团队共同开发混合调度框架,兼容Spark/Flink任务资源分配

业绩成果:

- 获得2019年度集团技术创新奖(团队)

- 申请发明专利3项(已公示2项)

- 主导开发的资源调度系统服务超过2000个内部业务团队

2021.01-至今 腾讯云 大数据产品部 高级资源管理工程师

职责描述:

1. 构建企业级Hive on Kubernetes资源调度平台,支持多租户隔离和动态配额管理

2. 优化TCPC(腾讯云计算平台)资源调度算法,通过机器学习预测模型将资源碎片率降低至5%以下

3. 设计资源隔离机制,解决共享集群下的任务干扰问题,关键业务SLA达标率提升至99.9%

4. 开发自动化资源调优工具,集成AIOps实现参数自动配置,运维效率提升60%

5. 制定资源使用规范,培训30+业务团队合理使用计算资源,年度成本节约超2000万元

业绩成果:

- 获得2022年度腾讯技术突破奖(个人)

- 主导开发的资源管理系统通过信通院可信云认证

- 发表技术博客20+篇,累计阅读量超50万次

四、专业技能

1. 核心技术能力:

- 精通Hive资源管理机制(YARN/LLAP/Tez)

- 深入理解Hadoop生态系统资源调度原理

- 熟练掌握Kubernetes资源模型与Operator开发

- 精通Java/Python开发,具备Scala/Go语言经验

2. 平台工具:

- 资源调度:YARN、Mesos、K8s Scheduler Framework

- 监控系统:Prometheus、Grafana、ELK Stack

- 开发工具:IntelliJ IDEA、Git、Jenkins

3. 算法能力:

- 资源分配算法(贪心算法、动态规划)

- 机器学习模型(LSTM时间序列预测)

- 性能优化(A/B测试、基准测试)

五、项目经验

项目1:智能资源调度系统开发(2022.03-2022.12)

项目角色:技术负责人

项目描述:针对混合负载场景开发的智能调度系统,集成强化学习算法实现动态资源分配

技术实现:

- 基于K8s CRD定义资源调度策略

- 使用TensorFlow开发预测模型

- 实现多目标优化算法(吞吐量/成本/公平性)

项目成果:

- 资源利用率提升25%

- 任务排队时间减少50%

- 获得公司年度创新项目奖

项目2:跨集群资源联邦管理(2021.06-2021.11)

项目角色:核心开发

项目描述:构建多数据中心资源统一管理平台,支持跨集群资源调度和故障转移

技术实现:

- 开发全局资源视图服务

- 实现基于Raft协议的元数据同步

- 设计分级调度策略(本地优先/全局调配)

项目成果:

- 支撑10+数据中心资源共享

- 灾备恢复时间从小时级降至分钟级

- 申请软件著作权1项

六、证书与荣誉

2018.05 阿里云ACE认证(大数据方向)

2019.11 CDA数据分析师认证(Level II)

2020.06 腾讯云TCB认证架构师

2021.03 全国大数据竞赛二等奖(工信部主办)

2022.09 发表的论文被IEEE ICDCS 2022收录

七、自我评价

1. 技术深度:8年大数据资源管理领域经验,精通从底层资源调度到上层应用优化的全栈技术

2. 架构能力:具备千万级节点集群设计经验,擅长高并发、高可用系统架构设计

3. 问题解决:在资源争用、性能瓶颈、成本优化等方面有系统化解决方案

4. 团队协作:跨部门协作经验丰富,能有效推动技术方案落地

5. 学习能力:持续跟踪Cloud Native、AIOps等前沿技术,保持技术敏锐度

八、附加信息

开源贡献:

- Apache Hive Contributor(提交PR 15+,解决JIRA问题30+)

- Kubernetes SIG-Scheduling Member

技术社区:

- 极客时间《Hive性能调优实战》专栏作者

- 腾讯云TVP技术专家

语言能力:

- 英语CET-6(可熟练阅读技术文档)

- 日语N2(基础交流)

关键词:Hive资源管理、YARN调度Kubernetes大数据优化资源利用率性能调优、分布式计算、机器学习调度高可用架构、成本优化

简介:8年大数据资源管理领域经验,主导设计过多个企业级资源调度平台,擅长通过算法优化和架构设计提升集群资源利用率,在阿里巴巴和腾讯期间推动多项技术创新,具备从底层资源分配到上层应用优化的全栈能力,持有多项专业认证和开源贡献。