年薪20万的工作－ 数据分析师

mikelee19

羡慕？

博闻

浮云马 发表于 2015-8-14 22:16
别的不了解，就NLP来说，新的machine learning算法复杂度上升好几个order，准确率也才提升几个百分点，还 ...

如果是85%和90%的差距，那最终结果查很多了。而且NLP不会写程序，只靠现成的软件工具更不成了。其实很多模型现在都需要引入一些unstructured data的特征。那些只会用软件工具的数据科学家也就能骗骗他们MBA或者金融出身的老板罢了。

cgz

悉尼菜泡饭 发表于 2015-8-14 22:26
1. 悉尼有很多这类岗位，博士毕业工作２－３年，行情是１８－２０万。当然博士是说墨大、国立、悉尼、新州 ...

原来烤鸭也去了KDD，早知道就好好看看，哪个是烤鸭

博闻

悉尼菜泡饭 发表于 2015-8-14 22:20
提醒一句，CTR提高一个点，在BAT那里是多少￥你自己算。嘴皮？技术没有嘴皮重要？

在澳洲确实嘴皮比技术重要

悉尼菜泡饭

cgz 发表于 2015-8-14 22:43
原来烤鸭也去了KDD，早知道就好好看看，哪个是烤鸭

我没去啊，就网上看看论文而已。

悉尼菜泡饭

博闻 发表于 2015-8-14 22:44
在澳洲确实嘴皮比技术重要

这是因为这个国家没啥希望。

你回国耍耍？人家苦干几个月，CTR上来２％，你耍嘴皮做ppt，直接下岗。

cgz

博闻 发表于 2015-8-14 22:39
如果是85%和90%的差距，那最终结果查很多了。而且NLP不会写程序，只靠现成的软件工具更不成了。其实很多 ...

原来博文也懂NLP，也知道什么叫unstructured data，那咋会觉得7万就高薪呢

cnnworld

悉尼菜泡饭 发表于 2015-8-14 22:20
提醒一句，CTR提高一个点，在BAT那里是多少￥你自己算。嘴皮？技术没有嘴皮重要？

在大型互联网公司，数据的有用性往往不是通过算法的提升，事实上，算法设计再巧妙，都不可能上转化率在之前的基础上提高多少，但确实有专门的团队会持之以恒的研究各种可能性，努力提高转化率，这是我文中说提到的，数据往往有两类，通过算法提高产品特性，更多是偏工程方面的。另一方面则是利用数据来做管理决策的

这个帖子的人很多人会被一些概念迷糊，因为数据实在是太宽泛的概念了，做data mining的可以说自己是做数据的，做IT 数据ETL的可以说自己是做数据的，提升算法有效性的认为是做数据的，做战略咨询预测分析的也认为自己做数据的，大家都不在一个点上讨论问题，各自认为对方的那个没意义，靠忽悠，所以这样讨论没有意义。

于是做数据的分成了两派，一派觉得技术优先，最典型的认为提升算法有效性，或者预测有效性，这样的专家是值这个钱的。一类认为技术无用，嘴皮子最重要，因为业务能力，沟通能力，表达能力是做数据的必须课

我是折中派，事实上，我更专注于技术本身，而且我本身很喜欢技术，可以我从业10年的 经验，我认为嘴皮子远大于技术的作用。即使在BAT内部，一个产品能不能上线，最关键的不是技术本身是否可实现，而是你这个产品各种沟通，推演，换句话说，老大不认同，你同伴不认同，你技术再牛你的算法也不会出现在任何产品中去。

这就是数据的魅力，这是个在技术和商业决策中间位置的东西，所以我认为嘴皮子优先。事实上，以你刚才的例子，为了提升转化率，招一堆特牛的人，就增加那么点转换率，确实，从收入上，也许我可以得到几千万的收入。但是，还不如你创造出一个新的数据产品。现在的互联网产品，事实上都是基于数据的，这也是我认为嘴皮子优先的证据之一。

最后说说特征选择

特征选择往往也是基于两类的，一类是业务知识，一类是基于数学本身。业务知识比较好理解，就是从业人员认为可能会显著影响结果的变量应该放入特征选择里去。而数学本身，也能给我们提供很多方法论来选择变量，如果这种变量的选择最后和业务知识相悖，我们就要懂得取舍。数学的魅力是，你了解的越多，越发现自己一无所知。

而上文有些人提到的技术，似乎技术仅仅取决于你的数理知识，这也是非常狭隘的，现代机器学习的方法，好于不好取决于两点: 1.训练资料 （如果是分类算法的话） 2.计算平台 。 当你只有几百条数据训练一个模型的时候，而我却有几亿条数据，我们的in-sample error肯定是不同的，而你的机器是显然无法处理几亿条数据的。而学校又是不可能提供你处理几亿条数据的环境的，所以学校是学理论很好的地方，但出来后发现，你还有很多要学，尤其有许多IT知识要学。可以这么说，我遇到过很多统计PHD，甚至计算机PHD，没几个SQL可以厉害到让我佩服的。而很多人说SQL这么简单，我可以保证我可以问出三个SQL问题对方无法回答，即使是PHD。因为光一个SQL，里面包含的IT知识就不少了。有几个人跑过BIG QUERY下的SQL， 有几个人用SQL可以做cumulative 计算？ 有几个人用SQL 可以实现一个协同过滤的推荐算法？


总结：
这个贴我发言了三次，其实也是为了普及些数据的基本知识，因为我自己感觉上文很多发言都是比较片面的，自己看到了一点就认为这就是这样的。新闻里面的内容有点夸大，事实上，一个非常优秀的从业人员，而且往往是管理团队的，才可能达到那个数字。但这个行业，确实是个非常值得进入的行业。如果你有良好的学术背景，有3-5年的从业经验，在国内应该是不难拿到70万左右年薪的。这些是确实的。

博闻

cgz 发表于 2015-8-14 22:49
原来博文也懂NLP，也知道什么叫unstructured data，那咋会觉得7万就高薪呢

有些人工作只看薪水，有些人觉得自己几十年时间不够用，工作内容的价值最重要。我又不是不够花，工资多少很重要吗？给我20万，让我忙忙碌碌伺候那些傻不啦叽的MBA? 实际上一年什么真正价值都没创造出来？抱歉，我一年生命的价值没有那么low。

飞儿

看看那种工作压力也不小哇


我心理平衡点了

cnnworld

悉尼菜泡饭 发表于 2015-8-14 22:26
1. 悉尼有很多这类岗位，博士毕业工作２－３年，行情是１８－２０万。当然博士是说墨大、国立、悉尼、新州 ...

博士毕业2-3年，拿18-20万，我建议你给我个具体公司名，澳洲是不可能有这么多的，除了极个别的类似google之类的公司

博士毕业2-3年拿18-20万之间的，即使在美帝，也只有少数顶级公司，也不是普遍情况，更不用说澳洲这种只有mining，没有data mining的国家了，澳洲数据行业只能说在起步，未来可能更糟糕，也可能机会更多。在澳洲，如果是相关专业博士毕业，运气好能进入到几个大公司，年薪一般是在10-12万左右，过5年后到了senior级别，能到15万，如果加上super可以到17万。以上是澳洲大公司的薪酬，如果是美帝的，比如google这样的，会更高点，其他本地公司，拜托，除非是做contract或者靠嘴皮子忽悠做售前咨询的。

但不管怎么说，数据越到后面，越发现视野比技术本身重要太多，尤其对个人的职业发展来说。

cgz

cnnworld 发表于 2015-8-14 23:04
博士毕业2-3年，拿18-20万，我建议你给我个具体公司名，澳洲是不可能有这么多的，除了极个别的类似google ...

你是个认真的人。对这两人，不必太认真，随便调侃一下就可以了

malazhumao

骑在羊背的锅家

xq052b

含笑领便当 发表于 2015-8-14 22:18
Newton-Raphson是迭代逼近算法，Monte Carlo是扰动算法？
当年编电路模拟软件时接触过  ...

Monte Carlo是随机算法。在模拟电路里面是用来测试device mismatch对电路性能的影响。

发明这个算法的仁兄只有两篇paper，一篇有几千个citation，另一篇基本没人看过。

xq052b

cnnworld 发表于 2015-8-14 23:04
博士毕业2-3年，拿18-20万，我建议你给我个具体公司名，澳洲是不可能有这么多的，除了极个别的类似google ...

有啊，以下四种博士：

1 我同事
2 我朋友
3 我亲戚
4 我邻居

这个划胖论坛，200K是拖后退的：D


我同意你说的，我去过美国几次，即使在硅谷，拿200K都是少数，flag里面的大多数人也就130K＋，这还是有几年经验的。

大多数美国码农都只有60，70K，而且这个收入在美国人中间已经是算中上收入了。

博士后更悲剧，好多只有40K。有个朋友在瑞士拿的PhD，现在UCSD做post doc，他说现在的收入还他奖学金多。

xq052b

博闻 发表于 2015-8-14 22:14
数据确实很重要，不过现在的算法比10年前的，还是强不少。尤其ML这方面。而且那些工具灵活性不够 ...

至少Deep learning我还是有发言权，现在就在干这个。

所有数学模型／基础都可以追溯到20年前，之所以这两年突然火了，就是因为之前一直没有足够的计算能力。

7月份在美国参加workshop，有人发了个图表，deep neural network的性能提升基本是跟着GPU的运算能力走的～～

上两天老板还在说deep learning will kill the study of neural networks，因为模型基本固定了，大家改改参数灌灌水。

博闻

xq052b 发表于 2015-8-14 23:43
至少Deep learning我还是有发言权，现在就在干这个。

所有数学模型／基础都可以追溯到20年前，之所以这 ...

deep learning就用matlab，不写程序你能解决所有问题么？既然你做deep learning，你应该知道，目前为止，还没有很好的deep learning模型处理自然语言吧? deep learning本身是个工具，你怎么定义输入的数据，如何提取特征，这都是要解决的问题。何况，现在的deep learning算法就真的是最好的了？就能kill the study of neural networks了？我看未必吧? 如果是最好的了，那么就应该能解决所有问题，事实上，差得远呢。

肥羊

还行

xq052b

博闻 发表于 2015-8-14 23:45
deep learning就用matlab，不写程序你能解决所有问题么？既然你做deep learning，你应该知道，目前为止， ...

deep learning就用matlab？？？最火的是Caffe，C++写的。我做芯片的，更加不用matlab了。

natural language processing，whatever，那些都是feature extraction的问题了，不是deep learning啊。

具体到每个问题，都有一大堆人靠它吃饭的。

我老板的意思是指，深度学习的性能太好了，新的架构就很难提出来了。

博闻

xq052b 发表于 2015-8-15 00:07
deep learning就用matlab？？？最火的是Caffe，C++写的。我做芯片的，更加不用matlab了。

natural langu ...

你不知道很多“数据科学家”说deep learning，只会用matlab？你做deep learning的专用芯片，FPGA么？性能能比GPU快多少？能支持多大的网络？

不过我觉得现在说deep learning定型不需要提高，还为时尚早。

cnnworld

博闻 发表于 2015-8-14 23:45
deep learning就用matlab，不写程序你能解决所有问题么？既然你做deep learning，你应该知道，目前为止， ...

我建议你对这些算法有个基本了解再来喷

nlp问题本质就是个分类问题，模型好坏主要取决于打标数据，神经网络等也是分类模型的一种，deep learning从某种程度上解决了打标数据不足的缺陷，更多是模拟人类大脑学习的方式，根本不存在有没有一个很好处理nlp问题deep learning模型这么个问题

模型从来没有先进与否，只有适合与否，有些预测能力强的模型，解释能力弱，则未必是好模型，有时选择deep learning也确实是因为打标数据获取太困难，希望借助较新的方法提升性能

互联网模型大多基于分类模型，而这里面算法是一个因素，但更重要的因素应该是计算能力，可扩展分布式的能力，比如mp 的问题不能解决算法中迭代问题，就需要用spark，问题是，一个公司投入这些设施人力可不便宜，所以大数据，性能本质还是金钱的战争

xq052b

博闻 发表于 2015-8-15 00:12
你做deep learning的专用芯片？FPGA么？性能能比GPU快多少？能支持多大的网络？

不过我觉得现在说deep l ...

恩，一个design，在ASIC／FPGA都可以实现。你知道IBM的TrueNorth chip吗？跟那个很类似。

仅仅指执行deep neural network，比GPU快几十倍，功耗低几十倍，而且支持online learning。

那个电路只能干这个事情，不是numerical simulation，没有多少个浮点操作这种参数，没有指令集的，所以不能执行其他任何计算任务。

几十个million neuron没问题。

真正的问题在于我们要自己开发一套类似CUDA的东西，能够把现有的基于deep neural network的应用翻译过来，否则别人没法用。

我说的定型仅仅是指convolution network，pooling，classification，back propagation那一套东西，万变不离其中。

博闻

cnnworld 发表于 2015-8-15 00:20
我建议你对这些算法有个基本了解再来喷

nlp问题本质就是个分类问题，模型好坏主要取决于打标数据，神经 ...

第一，标注的数据很重要，但是并不能决定模型的好坏。如果模型烂，标注再多数据也没用。当然，标注数据多肯定是好事。

第二，对于NLP问题，supervised的方法不是唯一的出路。unsupervised或者semi-supervised的方法都可能有帮助。完全靠supervised的方法，谁也没那么多资源。

第三，我说没有适合nlp的deep learning的模型，指的是包括知识表达模型，特征提取方法等的整个解决方案。不是deep learning本身的算法。现在常用的解决nlp的deep learning数据模型大都是建立在word2vec上的。说实话，那东西对语义的表达能力还远远不够。难道你标注的训练集大了，就连表达模型都能改了？怎么把自然语言变成人工神经网络的输入，这个问题现在远没有解决好。

第四，你说计算能力很关键，这个我赞同。尤其unsupervised的方法，尤其需要巨大的计算能力。这个真的要拼钱的。

第五，分类问题，只是现在NLP常见的,简单的应用问题。原因是更难的问题还没有头绪。NLP,尤其是NLU还有归纳推理等很多问题，现在远没有解决呢。

博闻

xq052b 发表于 2015-8-15 00:24
恩，一个design，在ASIC／FPGA都可以实现。你知道IBM的TrueNorth chip吗？跟那个很类似。

仅仅指执行dee ...

这个我觉得前景非常好啊。做出来网上提供deeplearning的云服务，绝对能赚翻。这是正经有价值的东西。赞一下。我等着用呢。出来不是很贵的话，我自己买一台（块）玩。

GPU仍然有内存访问带宽的很多限制。我也觉得应该有FPGA这类东西出来了。一直盼着呢。

johnluo721

cnnworld 发表于 2015-8-14 23:04
博士毕业2-3年，拿18-20万，我建议你给我个具体公司名，澳洲是不可能有这么多的，除了极个别的类似google ...

你很熟悉这一行啊，求带领

johnluo721

晕，看了楼上的互喷，感觉我在幼儿园，都不想在这个领域混了。

悉尼小波霸

博闻 发表于 2015-8-14 22:52
有些人工作只看薪水，有些人觉得自己几十年时间不够用，工作内容的价值最重要。我又不是不够花，工资多少 ...

赞一个！不是阿Q，胜似阿Q！

hairbei

cnnworld 发表于 2015-8-14 23:04
博士毕业2-3年，拿18-20万，我建议你给我个具体公司名，澳洲是不可能有这么多的，除了极个别的类似google ...

请问如何入行？graduate program?

博闻

悉尼小波霸 发表于 2015-8-15 01:10
赞一个！不是阿Q，胜似阿Q！

呵呵，这个世界上，总有很多事情，是你这种人理解不了的。就像有些人打破自己的脑袋也理解不了为什么有人不领救济，却支持福利制度一样。

cgz

博闻 发表于 2015-8-15 00:27
第一，标注的数据很重要，但是并不能决定模型的好坏。如果模型烂，标注再多数据也没用。当然，标注数据多 ...

NLP 用Matlab？肯定是醉了
NLP 用 bag of words？姥姥级的做法
NLP 用 bow 加 deep learning？姥姥穿新衣，衣服再漂亮，也是个老人家
NLP 只局限于 classification problems？姥姥看世界，老眼光

老人家能挣7万，不容易了