首页 > 大数据 > > 正文

大数据

日期:2017-07-10 16:23:43编辑作者:太阳城娱乐网站

  

  商业智能是传统数据仓库解决方案的延伸,不同的分工也是依据经典数据仓库的设计而来。其中主要设计到数据库、ETL、存储计算、可视化,还有业务专家角色的分析师团队。元数据管理、测试校验、监控部署,架构建模,不同的团队也会选择性地部分构架。

  在传统的工作模式下,即便是ETL也会有不同的分工。Stage/ODS/Mart/DW多层次设计,多维数据建模,可以说完整地分工下来,没有哪个团队按照38个子系统来全面进行。

  新的时代已经到来,HADOOP模式下,很多案例粗暴地将所有层次和子系统混杂。用集群的计算能力替代架构设计及分工的作用,这种模式失败的案例居多,但始终是大势所趋。

  在这种环境下,传统BI领域的从业者何去何从?

  我先简单自我介绍下。十二年正式工作经验,从数据库到数据仓库,从业务到技术,从开发到管理都做过。尽管对于现在大数据相关的技术也有涉猎,但我更加符合一个传统BI从业者的角色。

  新的技术浪潮来临,我们会受到冲击吗?

  这是毫无疑问的。现在很多案例采用HADOOP架构,不再细致分成,那么以往数据库角色/ETL/存储计算等分工的同学,根本没有条件加入到这种技术选型的团队中。

  如果开源大趋势在五年之内成形,这些人现在的工作能力会丧失大部分价值。

  直接的体现就是传统架构的团队越来越少,机会越来越难找。新式架构的团队无法进入其中。简而言之,就是饭碗会出现问题。

  这么严峻的问题,我给出第一条个人建议:不要给自己设限。

  传统数据仓库从业人员,并非ETL工程师,并非建模人员,并非单纯的业务专家。如果已经看出开源是大趋势,就立刻拥抱开源。立即学习、立即尝试、立即应用。需要你做HADOOP就去学习做,需要你用SPARK就立即尝试,需要使用机器学习库就立马行动起来。

  在这个崭新的大数据领域,及时的转型,可以拥有强大的优势。

  别人不考虑数据体系架构的层次,但你们可以考虑到。预先知道哪里有坑,预先知道项目和业务的紧密结。转型是新人没错,但同为新人,你们的优势体现出来了。

  有人担心HADOOP没用过,文档多,主要是英文资料阅读有障碍。没错,不同的技术架构需要改变以前的结构,我遇到很多人不熟悉shell,所以掌握fs shell不容易。有人不熟悉开发语言,所以开发MAP/REDUCE困难。有人英文功底不足,所以阅读很多资料困难。

  似乎到处都是困难,没有办法克服是吗?

  我们应该回顾下十年前做开始做数据仓库时的局面,真比现在简单吗?

  数据仓库的架构没有成形,组件式的ETL遭遇数据量大的问题,莫名其妙的字符集问题,服务器硬件资源极度欠缺的挑战,网络速度极慢还得分电信网通!

  这些问题克服的过程中,不需要查询英文资料吗?是不是几乎找不到已有的成功案例参考?是不是也会涉及到不同的开发语言来编写脚本?

  现在这些困难,十年前明明已经经历过了!

  不同的是现在信息更加发达,大家对压力的反馈有些不一样了。

  以前是从业新人,遇到问题就去学习解决,执行力一等一。

  现在起码也是个小中层,动口的时间比动手还多,到处听到处说,执行能力反而下滑了。

  所以针对这第一条建议,不要给自己定位成某一个角色。即便是和我这样编程能力一般的人,也可以全方位地掌握数据相关能力。这么做,一定会是项目负责人角色,即使是新的技术环境也一样。

  第二条建议,重新梳理自己的学习方法。

  我们这个年代的人很特别,极有可能成为第一批普遍超过一百岁的人,工作到八十岁,我觉得也不奇怪。

  将来还有七十年左右的时间,现在这些大数据的技术,我们是第一批站在这个技术风口上的人。现在学习起来,具备无以伦比的先手优势。

  我接触到不少新人,一年前说想学某一块知识,一年后还是想学这块知识。

  扯淡。想学的人早都学会转型成功了,动嘴的人一年到头没见行动。看了几本书?翻了多少文档,写了多少笔记,尝试了多少项目?

  学习是什么?如果不把这个问题理顺,再过几年就看到很多人不需要转型了。因为机会完全被自己放弃。

  一年时间,大数据的任何一个细分领域,作为成年人都有条件从入门者变成中等以上的实践者。其中值得一提的,无非是如何获取高质量的资料。

  现在的主流信息是各种电子档,各种视频,各种培训。我比较推崇官方手册,任何计算机相关的资料都是一样的,哪怕只有英文资料。

  能把官方手册读完的人,水平差不了。一个领域的应用即便遇到极大的挑战问题,官方手册也是最有资格指明方向的资料。

  对于第二条建议,我想说的就是多看资料,详细地看,一遍又一遍地看。多整理笔记,持续不断地整理,大家普遍还有七十年的时间,学习哪个方向时间都是够的。

  第三条建议,人以群分。

  勤奋的人每天都在努力,懒惰的人一年重复一年。

  我感觉现在的社会信息爆炸,有一个很大的作用就是快速给人们划分了层次。

  到实际层面来看,就是圈子。越是高端的圈子,越难进入。现在的社会资源,越来越重视知识能力。所以持续学习,是提升圈子品质的一个重要通道。

  我接触到很多学霸,他们每天看书学习比其他人时间要长得多。这方面我推崇复旦的思想:“自由而无用的灵魂”,你可以学习没什么商业价值的方向,但不能放弃追求灵魂自由的努力。

  先勤奋,然后进入勤奋的圈子,坚持学习,不断改变。大家都看得到现在很多名校学霸只是一个名字,都能引导大量金钱、人力资源配合,他们尚且经常学习到深夜,我们又有什么理由原地等待?

  以上是个人一点儿浅薄的想法,希望能给朋友们哪怕一丝的帮助。

  ?

相关文章

?

商业智能是传统数据仓库解决方案的延伸,不同的分工也是依据经典数据仓库的设计而来。其中主要设计到数据库、ETL、存储计算、可视化,还有业务专家角色的分析师团队。元数据管理、