大数据职业发展与规划【含干货

大数据
后台-插件-广告管理-内容页头部广告(手机)

有一京东的哥们,在那干两年了,数仓岗。数仓搭好了之后,天天就是写SQL,一个月28k。

大数据职业发展与规划【含干货        

当时听了挺羡慕的。

羡慕的是薪水啊,不是工作。

在京东待两年,那业务和调优的手法,都是老法师了。据说大厂调到最后的手段,就是加资源,简单粗暴…… 这一眼望穿的工作生活,能让老哥继续留在这的理由或许是对SQL的热爱,亦或是那28k…

02

再说一个不算消极的,我从一个同行那听来的。

同行他师兄,一流985的硕士,数仓从业五年,如今在一个国企银行,做数仓方面的架构师,在二线城市一年50多万吧。情况记的不是特清了,差不多是这个数据。

这是去年跟他聊的,那个时候还没找到工作。觉得他这师兄有点可惜,换个方向,不干数仓,肯定年薪更高。

当时为啥会这么想呢?

一个是市场反应。就是找工作的时候,外包公司一线的开发,数仓方向会比Spark方向薪水少2-5k。部分中小公司出身Spark开发的面试官去面数仓岗的求职者,会有一种降维打击的感觉。我记得很清楚,面望京soho一家公司的时候,面试官直言:不就是写SQL吗!当然,那次面试我比较得瑟,面试官就想挫我一下

大数据职业发展与规划【含干货        

还有一个就是那时候还没上手真正的数仓设计,后来在公司做项目才体会到难度。以前会以为不容易,真上手的时候会感觉很难。决定哪个表做事实表,哪个表做维度表,哪些表要做宽表,做哪些快照表……

数仓建模,有点调兵遣将的意思,稍有不慎,做出来的就是一滩浆糊。

03

天下熙熙,皆为利来;天下攘攘,皆为利往。

我是不利而无往…… 所以那个时候会想,先找到工作,然后赶紧换方向!

毕竟我当时选择研究数仓也是因为boss直聘上它的岗位多……

换哪个呢?

不得不说我的虚荣心——人工智能,就是上图第二大类的算法工程师。

行业鄙视链确实存在,人工智能->大数据->开发->前端/测试/运维

不是引战的意思,这个是我在一些从业者的身上和帖子里观察到的,排序的依据多半是这些方向的难度和平均薪水。

很可惜,当时幼稚的我自以为是,想挑战难度……

大数据职业发展与规划【含干货        

(狗头保命)

上图职位介绍中说是一般要求硕士学历,这不假。

我记得我去年面的一家人工智能独角兽公司(自称)的大数据开发岗,面试官问我职业规划。我就提了一嘴大数据->机器学习,面试官笑着跟我说:“你知道我们公司研究院的算法工程师都是国外top10的博士吗?”场面一度尴尬

大数据职业发展与规划【含干货        

市场上其实是有招本科学历的机器学习算法工程师,不过跟硕士比太少了。

韩顺平老师是根据市场上学生的反馈做的这个导图,算法工程师这跟我想的不太一样。大数据为人工智能提供数据,在数据上游,人工智能应用数据,在数据下游。而且boss上招的算法工程师一般叫机器学习算法工程师,我以前的经验是这个第二大类岗位脱离大数据行业的,这个暂时无法下定言,有待我继续学习了解市场。

后来在B站看吴恩达视频,在知乎了解行业,加之疫情的到来,使我彻底改观。

04

首先,人工智能这个方向真的高大上吗?

跟大数据比是高大上一点,数理基础更多,用脑子的地方更多。

但是……有毛用呢… 是嫌研究生韭菜不够多是吗…

我大学室友今年研究生毕业,一个一本的研究生,研究生期间做推荐系统的,有京东实习经历。室友跟一些985的研究生没法比,让我没想到的是他今年找工作这么难。

人工智能在国内兴起于16、17年,起因我偶然在知乎看到:

“早些年,在模式识别领域(例如人脸识别、语音识别等),大家都发力在数学算法的时候,算法工程师虽然努力多年,精度却一直上不去,几乎没有实用价值。

然而,突然有一天,在NIST竞赛中,有一个厂家突然爆发,一骑绝尘,直接把竞争对手甩下几个身位,也直接把很多识别技术(例如人脸识别)推到了实用的地步。

这个事情对业界的震惊很大,不久后,大家了解到竞争对方之所以能取得这么大的进步,正是因为引入了以“深度学习”为基础的AI技术后,整个业界的研发重点就迅速切换到了AI的跑道上。

在随后的时间里,大家都如饥似渴的阅读各种paper,就是我这个打配合的软件工程师,也开始接触与AI相关的各种技术,包括神经网络、深度学习等等。

之后,各家厂商的人工智能平台就搭建了起来,各种模式识别技术(例如人脸、语音)放弃了传统的数学算法研究,直接切换到深度学习平台上。

而经过深度学习的训练,在两年后的NIST竞赛中,各家公司的算法精度上虽然没有赶上原来的第一名,但已经开始接近了。”

在技术达到了实用级别后,政府政策对人工智能市场也是利好。这使得近年人工智能在国内火速发展,各大高校人工智能学院相继成立。

05

没想到的是,来也匆匆,去也匆匆。

去年校招的时候,算法岗已然一片红海。一句话,僧多粥少。到今年我室友找工作的时候,他已经开始准备投大数据岗…

我阅读了一些文章,片面看待这个问题的角度是,招的少是因为市场愈加严峻,严峻的市场是因为最近两年各大人工智能公司的技术难以落地(产生实质性价值)。

拿自动驾驶来说,以现在的技术是别想看到玩着王者荣耀开车回家的场景。

人脸识别是达到了商用的地步,其他方向了解不多,有待继续了解学习…

当然,岗位招的少也和近年来经济大环境有关,比如人口红利的减少、贸易战等,这是社会上哪个行业都会面对的问题。不可否认的是,即使经济增速放缓,人工智能依旧是红利行业的风口方向(现在泡沫少了很多)。我看着那几十k的薪水,说不动心是不可能的。

前几个月我对职业发展还没有明确的想法,因为市场上招的岗位太错乱了,难以总结出一条明确的职业发展道路。当时想的只是,要做难的东西,这样可替代性弱,岗位和薪水就会稳定。

基于对薪水的追求和以上的想法,明知市场如此,还是依旧在私下自学机器学习。

06

然而机器学习真正学起来的时候,没有想象中那么高大上。

我看的是吴恩达cs229版视频,其中有很多公式推导。因为比较拖延的原因,才看完梯度下降算法。这个梯度下降是解决回归问题的,而这个回归问题不就是我们大学学的数值分析中的拟合问题吗… 梯度下降只是数值分析中一种很普通的线性拟合方法,怎么一跟计算机沾边就这么机器学习了…感觉有点被诓了…

以前和我室友讨论的时候就有一个问题,为什么机器学习做拟合的时候用梯度下降,不用最小二乘法。现在看来,最小二乘法有限的步骤内就能算完,而梯度下降需要迭代计算,计算机用最小二乘法体现不出来我强大的算力 (当然大数据量的情况下,这种迭代计算肯定要比最小二乘法拟合的效果好)。

给我的感觉就是,有的知识火,完全是因为它的特性贴近时代潮流,它并没有多玄妙。人工智能有些概念炒的太火了,明明就是偏微分、数值分析、概率统计、分形学…的应用。

知乎的文章中也提到了:

“我从不止一个算法科学家嘴里听过,从对脑力的挑战来说,深度学习的精巧度远不如传统的数学算法。

甚至,相对于早前的数学研究,大家都觉得“深度学习好“傻”,好“暴力”,一种常见的套路是:

设置框架,喂数据,调参数,喂数据,调参数…,循环往复。“

真要想挑战难度,不如去搞数学…

以上摘录的知乎文章来自沈世钧:

https://www.zhihu.com/question/352212884/answer/926913217

我室友戏称自己是调包侠、调参怪,还跟我透露了有许多国内的框架只是改了改谷歌、微软框架的参数… 自此我是不觉得人工智能有多高大上了

大数据职业发展与规划【含干货        

高不高大上,学完才有资格说,我这么说有失偏颇。但除了难度之外,这个方向薪水也高。

07

直至疫情来了……

因为学习机器学习,在B站和脉脉上关注了很多算法工程师。三月初,疫情中慢慢复工。我惊奇的发现有一些算法工程师被辞退了,甚至有的公司直接把算法部一窝端… 有的网友直呼,这公司是不干了吗?连算法都裁…

我一开始也是像网友这么想,后来随着疫情的持续,我体会到了为什么会这样。

其实互联网并不赢利,真正创造价值的是实体行业。不留情面的说,互联网是在吸制造业的血。

前两天,我跟一个在小米上班的朋友讲:如果小米卖不出手机,拿什么给你们这些做互联网的发工资呢?当然,我这里只是片面强调实体的重要性。没有互联网技术的加持,产品也会缺少竞争性。互联网公司的裁员,疫情中大量公司的倒闭,让我更愿意强调什么是主要矛盾。

从而给我最大的感受就是,选择有难度的、可替代性弱的技术不一定稳定(薪水和岗位),而真正被时代和社会所需要、能创造价值的技术才会留到最后。

有价值才最主要,这再说个例子。

08

找到工作后,空闲时间加了一些云栖社群的技术群。

有一个群友说,他上家公司做大数据精准营销,结果大数据把产品日活搞下来了,老板于是把整个部门裁了…

典型的技术指导业务掉沟里,技术没有创造价值,反而减少价值。要知道,不是NB的技术给你带来了丰厚的薪水,而是能创造价值的技术给你带来了丰厚的薪水。

如果要问“被时代和社会所需要、能创造价值的技术”是什么?或者直接一点:

未来几年大数据中的数仓更好?还是开发更好?还是算法更好?

这我没法答,我的经验有限,看不到很远的市场。而且每个人的学习能力和工作环境也不一样,没法普适的说该往哪个方向发展。不过大数据整体来说,未来几年是个好方向。疫情期间国家说今年要在5G新基建上投34万亿,5G代表的不仅是速度,更是井喷的数据量。

思考哪个方向发展更好,其实有点投机心里。像散户买股票一样,感觉涨就买,感觉跌就卖,不太可取。赚钱之道在于长期持有一支优质股,好的股票总能历尽牛熊沉浮,在未来给你应得的回报。

09

一个人最终往哪个方向发展,大多数是缘分吧,我们不妨在其中加点自我选择。想强调一点的是,如果同行也迷茫未来的方向,可以多学。学的越多,选择越多。(好像在废话

大数据职业发展与规划【含干货        

虽然算法市场很难挤进去,而且需求量不是那么大。但我私下仍旧偷偷学,等有朝一日,好风凭借力,助我上青云。

再补充说明一下,这些韩老师公开课里也有提到。有的童鞋可能会说,那直接往架构师方向努力不就可以了吗。

确实,大部分做技术的人的最终归宿就是架构师。知乎的轮子哥说程序员是个内卷的行业,这意味着即使你三四十岁,也要不停的学习新东西。对于一部分人来说,他们是做不到的。

大数据职业发展与规划【含干货        

技术群里记录的同行公司所用到的技术栈和知识点

10

还有的同学可能会说:那我做产品,往业务方向发展。

一个项目,一个产品经理就够了,剩下二三十个技术去实现。要知道,产品经理是个比较小的方向。而且一般公司的产品经理就是老板,老板不指导公司业务方向,没道理的。

还有图中的大数据科学家和合伙人。大数据科学家是那种发一篇paper指导一个行业方向级别的人物,一般的同学不要尝试了。合伙人就是创业,风险挺大。

最后,本篇只是基于个人情况和见闻,我这种普通人的经验肯定不适用于大牛和大佬。

后台-插件-广告管理-内容页尾部广告(手机)
标签:

评论留言

我要留言

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。