请点击此处给我们留言

地址:www.d88.com

电话:0580-868627045

联系人:尊龙d88总经理

当前位置:主页 > 产业新闻 >

www.d88.com此“圈”太乱 咱们了解错了大数据

来源:http://www.haihe100.com 责任编辑:尊龙d88 更新日期:2018-09-16 18:34 字体:
分享到:

  此“圈”太乱 咱们了解错了大数据

  大数据这个词,恐怕是近两年IT界炒的最热的词汇之一了,各种论坛、会议,言必谈大数据,大数据这个词,在IT界现已成了某果相同的街机或许叫街词,不跟风说两句大数据长,大数据短都不好意思跟人说自己是搞IT的。从某种程度来讲,大数据这个圈太乱了,一点不比贵圈好。

  先从概念上来说,大数据是什么?其实数据处理从人类诞生时期就有了,古人结绳记事就是根本的计算,计算自己吃了几顿饭打了几回猎等等;再往近说,皇帝每晚翻嫔妃的牌子也是数据处理,在翻牌子之前,要从一大堆牌子里剖析便利、热度高、新鲜度等目标;更近的说,数据仓库早在大数据这个词呈现前就现已老练开展了好几十年了。所以说,大数据并不新鲜,仅仅某些技能如Hadoop、MR、Storm、Spark开展到必定阶段,适应这些技能炒出来的概念,可是这些概念都根据一个根本的理念开源,这个理念是之前任何阶段都没有过,能够节约费用进步功率,所以咱们才都往这个职业里扔火柴(话说现在很多人跟风乱吵,个人认为也不是坏事)。

此圈太乱 咱们了解错了大数据

  误区一:只要搞大数据技能开发的,才是真实圈内人。

  笔者从前参与过若干会议,70%是偏技能的,www.d88.com,在场的都是国内各个数据相关项目经理和技能带头人,咱们谈论的论题都是在晋级CDH版别的时分有什么问题,在处理Hive作业的时分哪种方法更好,在Storm、Kafka匹配时怎么功率更高,在Spark应用时内存怎么开释这些问题。参会者都一个情绪:不明白大数据技能的人没资历谈论大数据,您要不明白Hadoop 2.0中的资源配置,不明白Spark在内存的驻留时刻调优,不明白Kafka收集就别参与这个会!对了,最近Google彻底扔掉MR只用Dataflow了,您懂吗?