"\u003Cdiv\u003E\u003Cp\u003E大数据时代,随着企业数据规模的急剧增长,传统软件已无法承载,这也推动了大数据技术的发展,Google、AWS、微软等硅谷巨头纷纷投入大数据技术的研发;而在国内,阿里巴巴也在十年前带领阿里云团队研发\u003Cstrong\u003E飞天大数据平台\u003C\u002Fstrong\u003E,率先在国内开启大数据计算平台的自研之路。\u003C\u002Fp\u003E\u003Cdiv "pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002Fcd90f304c1f74ae7a887a7311a337741\" img_width=\"1181\" img_height=\"601\" alt=\"世界第一,阿里飞天大数据平台解决世界级算力难题\" inline=\"0\"\u003E\u003Cp "pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp\u003E十年后,飞天大数据平台已经可以承载EB级别的数据存储能力、百PB级的单日计算能力,集群能力更是实现10万台,处于遥遥领先的世界第一,(目前第二名仅能实现不过1万台)。换一种说法,\"飞天大数据平台\"成为超越一切可知道的科技公司在这领域能力的(Google、亚马逊)国之重器。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E飞天大数据平台的自研之路\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E事实上,阿里大数据的发展历程映射出整个大数据行业的发展史。\u003C\u002Fp\u003E\u003Cp\u003E十年前,阿里巴巴比其它公司更早地遇到互联网规模化带来的挑战。当时全球企业的数据库基本都是Oracle,而阿里巴巴拥有亚洲最大的Oracle集群,计算规模达百TB级别。\u003C\u002Fp\u003E\u003Cp\u003E按照当时淘宝用户量的增长速度,Oracle集群很快将无法支撑业务发展,而最核心的问题就是算力不足。而于此同时,当时阿里采用的主流开源技术同样在可靠性、安全性上也遭遇了天花板。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E如何解决这个困境?答案是,自研!\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cdiv "pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002F3e6226868c174cd9b425bf506f75147f\" img_width=\"1154\" img_height=\"781\" alt=\"世界第一,阿里飞天大数据平台解决世界级算力难题\" inline=\"0\"\u003E\u003Cp "pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp\u003E2008年,王坚带着解决大规模算力瓶颈的任务加入阿里。他发现,无论是Oracle还是Greenplum、Hadoop,都不是大规模数据计算的最优解,必须自研一套自己的大数据处理平台。\u003C\u002Fp\u003E\u003Cp\u003E2009年这项关于大数据的技术长征开始。王坚带队,目标是自研大数据计算平台飞天大数据平台,统一阿里巴巴内部的数据和大数据计算体系。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E事实证明,阿里做了正确的选择\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E四年攻坚,飞天大数据平台终于取得重大突破:2013年8月15日,阿里云历史性地突破了同一个集群内5000台服务器同时计算的局限,为未来的大规模服务奠定基础。十年后,单集群规模已超过1万台,能做到这一能力的科技公司在全球都寥寥可数。\u003C\u002Fp\u003E\u003Cp\u003E在阿里云云栖小镇,还竖着一尊飞天5K的纪念碑,碑上刻着参与解决这一技术难题的技术人员名字。\u003C\u002Fp\u003E\u003Cdiv "pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002F8f4116fc088046289c714ecbbc953e69\" img_width=\"500\" img_height=\"342\" alt=\"世界第一,阿里飞天大数据平台解决世界级算力难题\" inline=\"0\"\u003E\u003Cp "pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp\u003E\u003Cstrong\u003E从解决自身的问题到解决世界级算力难题\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E通过大数据计算平台,可以让订单实时准确汇聚,也可以精准预测变幻莫测的天气变化,各行各业都在大规模使用大数据来提供更好的服务,而实现这一能力就是海量数据分析的结果。\u003C\u002Fp\u003E\u003Cp\u003E但要处理好这些数据并不容易。除了数据量的剧增,不同行业数据类型丰富多样,如结构化数据、非结构化数据等,都给大数据计算平台带来新的挑战。\u003C\u002Fp\u003E\u003Cp\u003E飞天大数据平台的创新之处就是采用Datalake技术,把不同的数据源用类似的方式存储,用统一的方法计算,提供一套标准化语言,快速实现不同类型数据的计算。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E基于这套创新技术,飞天大数据平台实现顶级算力,走向世界。\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E2015、2016年,阿里云刷新世界计算奥运会SortBenchmark的六项世界纪录;2017年,完成全球首次基于公共云的100TB BigBench大数据基准测试。\u003C\u002Fp\u003E\u003Cp\u003E过去十年,飞天大数据平台能力不断提升:单日数据处理量从2015年100PB,2016年180PB,到2017年320PB,再到2018年的单日处理超过600PB。\u003C\u002Fp\u003E\u003Cdiv "pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp9.pstatp.com\u002Flarge\u002Fpgc-image\u002F5265f7868b0e4d5790b2ada2cf10c61a\" img_width=\"1080\" img_height=\"1909\" alt=\"世界第一,阿里飞天大数据平台解决世界级算力难题\" inline=\"0\"\u003E\u003Cp "pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp\u003E从线上到线下,从生产制造到互联网电商,从国内到海外,飞天大数据平台的计算能力正在延伸到各行各业,极大地降低了社会的计算成本。\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E"
添加新手交流群:币种分析、每日早晚盘分析
添加助理微信,一对一亲自指导:YoYo8abc