新足迹

 找回密码
 注册

精华好帖回顾

· 回馈三------烘焙路上,我的失败和哀愁 (2008-10-24) 我是老人 · 河鳗vs海鳗 (2005-4-3) leeshine
· 熊猫食神·需要耐心的德国咸猪手 (2010-2-26) remey · 翻出来高二时候自己写的一篇东西《姐姐妹妹》,拿出来献个丑~ (2008-5-2) 琪琪
Advertisement
Advertisement
123
返回列表 发新帖
楼主:cnnworld

[IT] data scientist [复制链接]

发表于 2017-5-25 15:28 |显示全部楼层
此文章由 博闻 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 博闻 所有!转贴必须注明作者、出处和本声明,并保持内容完整
er1c 发表于 2017-5-25 09:34
各位说澳洲市场小, 请问小在哪儿?

澳洲不但市场小,而且需要的技术很单一。基本上就是商用数据分析那一点点东西。根本不需要创新,大部分职位不需要你懂算法,只要会用工具,会说就成了。
签名谢绝外连
Advertisement
Advertisement

发表于 2017-5-25 15:35 |显示全部楼层
此文章由 er1c 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 er1c 所有!转贴必须注明作者、出处和本声明,并保持内容完整
博闻 发表于 2017-5-25 16:28
澳洲不但市场小,而且需要的技术很单一。基本上就是商用数据分析那一点点东西。根本不需要创新,大部分职 ...

请问能具体展开说一说吗?
就目前我接触到的数据科学家基本大多是统计出身, 忽悠的功力比建模的功力强.

发表于 2017-5-25 16:31 |显示全部楼层
此文章由 sche228 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 sche228 所有!转贴必须注明作者、出处和本声明,并保持内容完整
博闻 发表于 2017-5-25 14:28
澳洲不但市场小,而且需要的技术很单一。基本上就是商用数据分析那一点点东西。根本不需要创新,大部分职 ...

说的好

发表于 2017-5-25 21:02 来自手机 |显示全部楼层
此文章由 northwind79 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 northwind79 所有!转贴必须注明作者、出处和本声明,并保持内容完整
是的,这边那些data scientist 工作就是挂羊头卖狗肉,实际做的从job description 一看就是跟名字不着边的,就是玩个时髦。

发表于 2017-5-26 21:19 |显示全部楼层
此文章由 trevork86 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 trevork86 所有!转贴必须注明作者、出处和本声明,并保持内容完整
这儿有Quantium 的人么

发表于 2017-5-26 22:32 来自手机 |显示全部楼层
此文章由 summersea3 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 summersea3 所有!转贴必须注明作者、出处和本声明,并保持内容完整
谢谢lz的好贴!完全没有IT技术的会计,想做个懂技术的BA,请问在IT上应该学什么比较好啊 感觉IT的范畴也很广啊 十分感谢!
Advertisement
Advertisement

2021年度勋章获得者

发表于 2017-5-27 19:53 |显示全部楼层
此文章由 heroxk 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 heroxk 所有!转贴必须注明作者、出处和本声明,并保持内容完整
DBOY123 发表于 2017-5-23 22:46
现在是个人都能做 predictive model, R 学一周,我们班50多岁没IT和统计背景的老太太都做出几个models.   ...

这个只能呵呵了。

Data science强调的是Data。举个例子,我们这一个模型,差不多1000行代码,但是950+行都是在处理数据,将各种维度的数据进行清洗整合,数据准备好后一行logistic regression搞定,说出来你可能都不相信。

稳定、易解释性比什么都重要。

前两天公司还花大价钱送我们去参加stakeholder management的training

发表于 2017-5-27 20:18 |显示全部楼层
此文章由 cnnworld 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 cnnworld 所有!转贴必须注明作者、出处和本声明,并保持内容完整
heroxk 发表于 2017-5-27 18:53
这个只能呵呵了。

Data science强调的是Data。举个例子,我们这一个模型,差不多1000行代码,但是950+行 ...

用95%的代码来处理数据说明你们的数据量不大,应该这个模型的训练数据在50万条以下

数据处理部分很多时候是跟建模分开的,不过真心看什么公司和怎么样量级的数据了

2021年度勋章获得者

发表于 2017-5-28 00:27 |显示全部楼层
此文章由 heroxk 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 heroxk 所有!转贴必须注明作者、出处和本声明,并保持内容完整
本帖最后由 heroxk 于 2017-5-27 23:29 编辑
cnnworld 发表于 2017-5-27 19:18
用95%的代码来处理数据说明你们的数据量不大,应该这个模型的训练数据在50万条以下

数据处理部分很多时 ...


这个模型所需的数据量不是很大,维度也不是很高。整个公司的总体数据量和维度在澳洲算是比较前列的,行业就不说了,不过和中美的数据规模是不能比的。

原始数据的初步处理有专门的ETL团队,那个95%代码是做各种不同数据源之间的stitching。

发表于 2017-5-28 01:04 来自手机 |显示全部楼层
此文章由 DBOY123 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 DBOY123 所有!转贴必须注明作者、出处和本声明,并保持内容完整
heroxk 发表于 2017-5-27 23:27
这个模型所需的数据量不是很大,维度也不是很高。整个公司的总体数据量和维度在澳洲算是比较前列的,行业 ...

我说老太太建模型,前期工作由programmer 完成。
[color=Red

2021年度勋章获得者

发表于 2017-5-28 11:56 |显示全部楼层
此文章由 heroxk 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 heroxk 所有!转贴必须注明作者、出处和本声明,并保持内容完整
本帖最后由 heroxk 于 2017-5-29 13:14 编辑
DBOY123 发表于 2017-5-28 00:04
我说老太太建模型,前期工作由programmer 完成。


我的意思是,实际中的不少情况下,纯粹的模型部分就是套用一些稳定、成熟的方法,plug and play,反而没那么多花花。你的作业项目,可能让programmer一包到底也就完事了,没看出需要老太太的必要性。

另一方面,DS很重要一个技能是对商业的敏感度和沟通能力。建模是一个how的问题,而更重要的是why。

比如一个典型的面试问题,你觉得我们公司会出现哪些潜在问题,如果让你来改进,可以用什么Data science的方法?

实际中,stakeholder衡量方案好坏的标准是end to end的,优先级会放在business方面,比如turnover的变化,profit的变化等。模型方面的指标有时反而是次要的。
Advertisement
Advertisement

发表于 2017-5-28 20:54 |显示全部楼层
此文章由 cri5182 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 cri5182 所有!转贴必须注明作者、出处和本声明,并保持内容完整
高大上的职位名称啊

发表于 2018-1-31 16:46 |显示全部楼层
此文章由 ivurs 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 ivurs 所有!转贴必须注明作者、出处和本声明,并保持内容完整
trevork86 发表于 2017-5-26 21:19
这儿有Quantium 的人么

这个公司怎么样啊?ds工资能到多少

发表于 2018-1-31 16:55 |显示全部楼层
此文章由 ivurs 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 ivurs 所有!转贴必须注明作者、出处和本声明,并保持内容完整
cnnworld 发表于 2017-5-24 00:02
你这样说是不对的,是个人就能做个模型,你数据用excel打开,然后做个图,右击选择trend也是个回归模型

...

抛开预测目标,谈单维feature的处理,那不是耍流氓吗?

根据你的预测目标,这个城市可以一列可以是离散值也可以是连续值,离散值很简单,就是一个onehot编码就搞定了,主要是表征你是否存在于某个具体的geolocation,连续值则可以把城市与目标或者其他feature结合起来考虑,比如举个例子,改城市犯罪率,用来表征城市某个特征的信息,当然,虽然说是连续值,其实也可以简单点,作为一个离散的类别值,然后继续用onehot构造feature。

说的很简单,just 探讨一下

发表于 2018-2-1 09:46 |显示全部楼层
此文章由 hiding 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 hiding 所有!转贴必须注明作者、出处和本声明,并保持内容完整

发表于 2019-8-13 02:15 |显示全部楼层
此文章由 byronliuls 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 byronliuls 所有!转贴必须注明作者、出处和本声明,并保持内容完整
DBOY123 发表于 2017-5-28 00:04
我说老太太建模型,前期工作由programmer 完成。

您好,看到您之前读uts master of data analytics专业,能不能跟您请教个问题呢。我本科是文科专业,现在是转行学数据分析,毕业后回国工作。现在有uts 的master of it business information system。想问一下,master of da和master of it bis有什么区别呢?如果之后想从事互联网行业数据分析的话,选哪个比较合适呢?谢谢您。
Advertisement
Advertisement

发表于 2019-8-19 22:31 |显示全部楼层
此文章由 韩苦禅 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 韩苦禅 所有!转贴必须注明作者、出处和本声明,并保持内容完整
DBOY123 发表于 2017-5-23 22:46
现在是个人都能做 predictive model, R 学一周,我们班50多岁没IT和统计背景的老太太都做出几个models.   ...

无意中看到你的贴子。本人学过R,Finance PhD Candidate 背景,想找你们这个行业的公司,方便透露一下是什么行业吗,在SEEK上应该搜什么公司名字 或者 job title, 谢谢了

发表回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则

Advertisement
Advertisement
返回顶部