零基础小白想转行成为大数据工程师，系统学习大数据技术，首先需要有心理准备，大数据体系复杂，学习起来需要坚持和攻克难关的毅力；还有就是下面加米谷介绍的一些相关基础知识及相关资源。

 

大数据团队构成以及岗位职责简介

• Hadoop生态研发工程师（平台工程师）

对Hadoop生态组件很了解，精度开源框架源码，对业务平台支撑，适合技术极客的人。

Java/Scala

• 大数据开发工程师

灵活使用大数据技术解决业务问题

了解大数据工具使用原理

Java/Scala

• 数据仓库工程师

对业务敏感

对数据建模

Java/HQL/Python

• 数据分析师

基于数仓工程师

对数据业务敏感

熟悉脚本Python

统计学常识

• 算法工程师

熟练掌握机器学习算法

必备的大数据开发技术

Java/C++/Python

• Java工程师

支撑各个模块工程开发

Java后端

大数据培训相关的职业岗位及主要工作内容：https://www.toutiao.com/i6642200037784814094/

大数据技术及算法学习清单

基础：数据结构与算法

• 极客时间专栏：数据结构与算法之美 https://time.geekbang.org/col...
• leetcode刷题：https://leetcode-cn.com/

大数据技术

• 离线计算

hive sql、spark sql

可重点研究下hadoop map reduce原理及spark框架

• 实时计算

重点掌握flink，大厂基本是flink这套搞实时计算

• 消息队列

掌握kafka

• 存储

hdfs、hbase、ES、Redis

新手如何规划大数据学习路线：https://www.toutiao.com/i6789892721906549256/

 

大数据工程师面试前的准备工作

• 个人觉得定位
• 个人职业规划
• 扎实的基本功
• 开发语言
• 公司项目回顾与梳理：项目背景、设计与架构、选型与对比、实现细节、最后效果
• 简历

大数据面试简历怎么写？http://blog.sina.com.cn/s/blog_17c01ad2f0102yeqk.html

面试技巧及常用面试题

面试技巧

• 一面基本功技术
• 二面业务项目面，广度，时间能力
• 三面综合能力面，执行能力，沟通协调能力
• HR面稳定性，抗压能力等

面试考核点

Hadoop工程师

• 对工具的掌握程度
• 熟读源码
• 问题：集群变大，节点过多，hadoop中namenode内存受限如何解决？namenode水平扩展；在Hadoop生态中，敏感数据安全保护措施？采用服务器访问认证，底层目录权限，Hive表权限管理。
• 推荐书籍：Hadoop实战，Java核心技术

从面试官的角度谈谈大数据面试：https://www.toutiao.com/i6615361565526852110/

大数据开发工程师

• 熟练使用各个组件，对各个组件调优，充分发挥大数据技术的价值
• Java/Scala
• HBase/Strom/MR：HBase使用适合RowKey怎么设计？怎么开发MR等？Strom并发问题

数据仓库工程师

• 数据倾斜如何优化，分析？
• 数据仓库建设有点，解决那些痛点？
• 日志系统的ETL环节具体都做了那些事情？

数据分析师

• 数据分析项目流程，建模分析
• 脚本语言
• 行业相关的技术：用户行为分析，常用指标有那些？

算法工程师

• 工程实现拟合和算法深度
• 数学的基础知识，矩阵变换，特征值等
• 算法能力
• 工程能力，常见机器学习的设计数据结构：公式推导；算法