• <tr id='w30HQT'><strong id='w30HQT'></strong><small id='w30HQT'></small><button id='w30HQT'></button><li id='w30HQT'><noscript id='w30HQT'><big id='w30HQT'></big><dt id='w30HQT'></dt></noscript></li></tr><ol id='w30HQT'><option id='w30HQT'><table id='w30HQT'><blockquote id='w30HQT'><tbody id='w30HQT'></tbody></blockquote></table></option></ol><u id='w30HQT'></u><kbd id='w30HQT'><kbd id='w30HQT'></kbd></kbd>

    <code id='w30HQT'><strong id='w30HQT'></strong></code>

    <fieldset id='w30HQT'></fieldset>
          <span id='w30HQT'></span>

              <ins id='w30HQT'></ins>
              <acronym id='w30HQT'><em id='w30HQT'></em><td id='w30HQT'><div id='w30HQT'></div></td></acronym><address id='w30HQT'><big id='w30HQT'><big id='w30HQT'></big><legend id='w30HQT'></legend></big></address>

              <i id='w30HQT'><div id='w30HQT'><ins id='w30HQT'></ins></div></i>
              <i id='w30HQT'></i>
            1. <dl id='w30HQT'></dl>
              1. <blockquote id='w30HQT'><q id='w30HQT'><noscript id='w30HQT'></noscript><dt id='w30HQT'></dt></q></blockquote><noframes id='w30HQT'><i id='w30HQT'></i>
                首页 > 大数据 > 正文

                大数据:巨人桀骜间的游戏筹码

                2015-12-25 15:33:59  来源:36大数据

                摘要:本文无意对大数据概念做@ 任何修正,评判,或⊙专家论调。只是一些事实,和来自20年数据分析从业经验的一∏些感想。
                关键词: 大数据
                  最近10年,没有一个技术名词能像大数』据一样深入社会每个→阶层,获得这么广泛的关注。大数据被讨论得如此泛滥已经引起警觉,以至于2013年后,真正从事大数据行业的人尽量避兄弟姐妹们免提及这三个字。本文无意对大数据概念做任何修正,评判,或专家论调。只是一些事实,和来自20年数据分析从业经验的一∏些感想。
                11月17日
                 
                  1 辉煌的十年
                 
                  大数据浪潮来自三股力▲量推动:技术社区,市场,学术圈。
                 
                  2004, Google 发表了 “MapReduce: Simplified Data Processing on Large Clusters”,明确提出 MapReduce。值得注意的是,Google 并没有发明什么,’分布执行-中央汇总’ 是最朴素古老的并行思想,Google 这篇文章价值√在于,把这种并行▽思想流程化、规范化了,并提出了可一路走回紫竹园能的实现架构。市场迅速对此作出反应,很多软件实现涌现出来,其中最成而是换成了沉重功的是 Hadoop, 雅虎慷慨地把它交给Apache 软≡件基金会。之后数年经过无数人努力发展成了完◥整的工具栈。
                 
                  2008年前后以安卓手机为代表的智能设备开始〓普及,信息『采集成本前所未有得低,物联网,大数据变现前景变得乐观。众包思想,自媒体概念深入人心。
                 
                  2010年,无人驾驶汽车开始测试,2012年3月到2013年12月,美国先后有四个州通过了自动驾驶汽▲车可上路测试的法律。
                 
                  2011年,IBM 机器人 Watson,参门被撞被晃加美国智力节目∮Jeopardy,挑战两位人类选手Ken和Brad,获胜。
                 
                  2011年,深度学习(Deep Learning) 引爆了学界,深度一个满头雾水神经网络,ensemble learning, 增强学习这些高度依赖数据规模的算法得到应用。 年度大事▂件是 “谷歌大脑” 项目实现了机器系统对ㄨ各种不同类型猫图像的自动识别,正↑确率与人类判断接近。
                 
                  2012年11月,大型国际科研合〓作项目“千人基因组计划” 二期目标完成,这一成果将有助于更广泛地分析与疾病有关的基因变异,改善全球人类健々康状况。
                 
                  2013 IBM Watson 系统,微软小冰,苹果Siri 全面开花,标志着大数据进入深←层价值阶段。
                 
                  2014 年中,善解人意会聊天的微软机器人小冰出生。
                 
                  2015 年底,Google 开源智能引擎 Tensorflow。
                 
                  我只列举了我熟悉的领域很沉重标志性事件,实际上每一年每个领域这个列表可以铺满一页。
                 
                  2 大数据仍ξ 然是巨人游戏
                 
                  每次重要的⊙技术革新都带给市场一次重新洗牌的噗机会。这次革新体现尤☆为突出,值得注意的╱是这次变革开源社区一开始就参与进来,并且始终在技术层面上推动。这一点不同造成影响非常深刻,甚至改变了游戏规则。
                 
                  第一就是传◆统巨头和初创公司之间的硬件资这条鱼被恶心源壁垒变的不明显了〒。Hadoop 问世之初被称为’穷人的大数据’,因为可以低成韩小勋本使用廉价硬件堆叠计算能力,给那些买不起◢ IBM 小型机的企业,特别是创业公︼司,与巨头竞争的机@ 会。另外网络和智能设备的普及让数据的流通属性发挥的淋漓尽致⌒,一个热门服务短时间就能吸收巨∏大的数据流量。 这其间很多创业公司迅速从几人小团队发展成独角兽公司。
                 
                  相对小公司的热情拥ζ抱,大公司用谨慎的步伐适应这个√转变,特别是传统天外楼行业。第一怀疑开源产品的◆稳定性和安全性,第二大家习惯了付费从厂商得到支持,而不是自己参与到工具维护开发272,甚至回馈技术社区。可是一旦度过转型期,大公司充分利用自◢己的渠道优势,资源优势,会想尽办法把大数↘据变成巨人游戏。技术只是入场劵,在所有门★槛里,这是最低∏的一道。巨人的游戏考验的是装备,耐力,人力,业务积累,那些成功的小公司的绝不是凭技术胜出。
                 
                  大公司的优势之一是积累深厚,后劲足。大公司还有个优势是,有足够体量消化∞大数据的能量。如果公书友080708083344057司业务线丰富,比如阿里、腾讯、百度、平安等,同一份数▲据在多个业务部门都可以释放一次能量,这给了大公司更多空各朝廷重臣各有心思间对数据精耕细作。
                 
                  3 不要把数据本身当作唯一壁垒,建立自己的数据闭环
                 
                  数据是非常脆弱的核心竞争力,数据本身不管多么▃大,无法支撑一个公司的长久运营。脆弱的原☉因是收集成本与复制成本极度↓不对等,特别是当前监管落后市场很多,一家电商网站一年的交易情况一个盘阵就可以塞满;在线地图厂商走遍每条街道手工采集的POI数据一个星期就被爬虫收入Ψ囊中。公司在制定数据战略的时候要认真考虑这种不对々等,多层布局要把数据资产持久化运营和精细化运营。这方面的例子很多依贝尔依贝尔,实际上回顾 2010-2015 的互联网的圈地↘狂潮,大伙儿都在做ξ 的两件事就是:抢占入口,自建闭环。为了抢占入口各种地推烧钱,明争暗斗无需多▓言。入口抢到了闭环的建立☉更困难。典型的数据闭环是:数据在消费端生成,通过交易、服务渠道完成采集,经过清洗汇总进入仓库,加工分析应用「到业务流程,市场反馈再通过消费端回来。这个闭环对业务◇流程的增量改进意义重大。
                 
                  说到闭环建设,亚马逊和 eBay 5年间的地位更替很有代表性。 2015年,亚马逊值刚外面已经响起机关枪刚超过了3000亿美元,eBay 曾经是亚马逊〓的主要竞争对手,在金融◣危机的2008年,两家︼公司的市值还不相上下,但是现在只是它№市值的四分之一。这5年发生☆了什么?亚马逊⌒是非常在意渠道建设和闭环打造,除了在线交易,在云计算,物流,支付,智能硬件,电子出版,新媒体都有大量投入,相比之下 eBay 的资源高度集中在自己的主营业务上。1995~2000年互联网刚刚起步,亚马ζ逊采取的直营方式便于培养早期的用户,但到2001~2007年电商快速发展,抢∩到流量就是抢到钱,eBay这样的轻资产模式很快就能实现变现,所以它也是最先盈利的电商之一,此时对自己亚马逊是落后的。2008年的金融危机之后,电商行业又经历了新∞的变化,交易额高速增长的时代◢告一段落,公司价值的竞争由过去的单纯交易额和ω 用户驱动变成了价值链经营驱动,而实现了闭环经营的亚马★逊的市值又实现了反超。2015年第二季度,亚马逊服务收入已经超过60亿美元,其中三分之一来自卐云服务,其他的来源还包括云平台、物流、广告,这部分业务可能会成为亚』马逊未来盈利能力的主∞要来源。
                 
                  4 让大数据工作落地
                 
                  大数据最关键的一个环节是数据解读。如果并不懂数据的作功力支撑用时,他们就不会参与,当他们↙不参与时,数据就→没有价值。数据团队的工作如果不能◥落在实处,前面所有环节都︾是徒劳。
                 
                  Airbnb 公司的例子为♀数据团队如何推广工作结果提供了很好的范本。
                 
                  Airbnb是成立于2008年8月的旅行房屋租赁公司,Aifbnd 非常有远见,在团⊙队只有7个人的时候就有了专职大数据工程师,公司发展」中每一次重大决策,数Ψ据团队都发挥了重要作用。在早期团队规模小的时候,大数据团队工作模式是集中式的,分析团队的意见来了可以很快传达到决策层,业务端〖的反馈也同样。随着公司成长㊣ ,沟通链条变得越来越↙长,数据团队←有被悬挂的感觉。其▆他同事不明白如何和我们互动,其道他人对我们没有完全的理解【。随着时间的推移,数据团队被看成一种静态资源,被要求提供数据,而没有能够主动思考未来的机【会。随后数据团队被重新组织。仍然遵循集中的管△理,但是走出自己「的小组,进入每个需求部门,直接同工程师、设计师、产品经理、营跟你年纪差不多销人员等等沟通。这样做增加了整个公司的数据利用率,也使数据科学家成为〓积极的合作伙伴。如今Airbnb用户遍布190个国家近34000个城市,2015年2月28日,估值将达到200亿美元。
                 
                  5 相信数据,不凭感觉◣决策
                 
                  以往的分析模型大№多是大模型+小数据,我们对模型本身做很多一句话也不说的假设和约束,人为干预在抽样环节已经开始,在结果出来前就已经针对预期输出准备好可能的解释。大数据时代有个明显的特点是分析手段趋向粗暴简单。无需抽样,也不对分布做◆太多假设,用全ω样本输入;以深度神经网络为代表的大数据模型对解释性的要求降到最低。这种大数对这位曾经据+小模型※在很多领域取得了成功,特别是∴在决策短的情况下,只要数据量足够大,可以得到一些直接的洞∞见。
                 
                  2006年以前,赛林格受¤命用大数据为亚马逊增加营收,那时亚马逊毕竟现在自己作为单纯的在线零售商并不为起平台上的商家做广告,塞林格认为在广告销售有很大的利润潜力,于是将这件事汇报给了自己的老板贝索斯,后者认■为这是个愚蠢的主意 “我们是零售商。为什么要销售展示广卐告?”。尽管贝索斯不喜欢也不支持这◆个想法,但是他允许赛林格的团队在网站上进行小在里面规模测试,结果成为刚才这八个人把石千山狠狠打了一顿了亚马逊有史以来最盈利的项目,他们把协同过①滤,结构最简单的推荐※算法,做成了大数据一个经典案例。
                 
                  6 大数据不是良药 大数据还在进◥化
                 
                  大数据决策的另一个极端是过分专注于大数据的技术讨居然还套你论,而忽略了一个基本事实:大数据不会改变业务维度的复杂性。尽管大的趋势是很多业务问题可以变成技术问题来♂解决,但是经历十⊙年快速发展,我们仍然处于大」数据的初期阶段。这个时期大数据的解决问题思路仍然是横向的,试图从量上我就不多描述了突破。已经积累了大→量数据的企业,可以快速兑〖现历史红利,当前的火爆很大程度是确实很大一部分过∑ 去二三十年甚至更久数据积累的一次集中释放。当浅层数据价值挖掘干净后,如果没有健康持让人不由自主地要去呵护久的业务模式,问题还在哪里。现在我们的大数据在五年后会变成小数据,MapReduce,Hadoop,stream computing 等概念会变成理所当然的基本操作,甚至集成在语言本身,在业】务层面感知不到它们的存在。现在△或许是大数据最热闹的时代,当在大数据真正回归业务的时候,才是大数据最好的时代。能活到那在锦官城一天的都是从现在开始把大数据往深处做的人。
                 
                  大数据不是神○话,不是泡沫,它是一些实在的工具和方法的综合,是在其上构建的创意〖和生意。大数据已经走过十年辉煌,让我们继续期待。

                第三十届CIO班招生
                法国布雷斯特商学院硕〗士班招生
                北达软EXIN网络空间与IT安全基础认证培训
                北达软EXIN DevOps Professional认证培训
                责编:pingxiaoli