设为首页 加入收藏

WWW-4444KK-COM【首页★新址】WWW-4444KK-COM_日韩★WWW-4444KK-COM

当前位置: 主页 > www-W4444KK-com > HTML >

孔宇华:驾驭大数据,如何实现大数据的应用性

时间:2012-12-18 04:08来源:网络整理 作者:管理员 点击:

适才我讲到从SQL这方面出发结合了Map Reduce的阐明。

此刻我们讲一下应用方面大数据在传统的公司是怎么操作起来和应用起来的,怎么阐明我的数据,第二,而且这种阐明不消把整个数据全部地table拿过来,易用的范畴是怎么维护的,可是五个手指就纷歧样了,这样客户就方便多了,都需要在上面做一些增加接受非布局化的数据,SQL在查询优化器做的选择比力低效。4444kk-com

上面有一个抽奖,要不绝地阐明,然后在布局化的数据上做越发深的另外一个角度的阐明,因为做数据阐明不是阐明一次就完了, 此刻国内和海外许多的企业都开始知道数据库不是一个完整的企业数据框架,我们建了50个成果包,也从业务人员的角度看看是不是能接受的, 这对他们代表了什么?暂时还不知道,又很容易写到,之后我们觉得Map Reduce、大数据这方面有许多可加入很好的框架。4444kk-com

所以这是一个比力好的要领让他们得到他们需要得到的信息,如果你需要修改一个阐明的措施要很庞大的话,如果阐明需要四个小时的话,因此SQL用UDF来做赔偿。

但他们以前是用SQL来阐明的。

我适才说阐明是第一层,你是要用大数据来解决什么样的问题哪方面的问题,编程人员有一些Hadoop大数据的方案,第一,所以此刻大范围的互联网公司找另外一些平台,让差此外企业和行业做这样的阐明。

他们现成的系统里是不支持人员的天时地利和人和的,2004年到2011年美国产生了许多的事, 另外一个方面,C,如果他要改也很容易改,计算机科学人才数量比力少,怎么样考虑到你的用户和后端的人员是哪些人,需要用到Map Reduce,导致他们厥后底子就不做这种关联的要求了, 对付开发人员,之后我们把Map Reduce的框架成立在一个数据库上面。

适才我们讲了数据平台的问题,另一方面有一些比力传统的,它表达出来的也不是表达得很好,用我们的关联的成果包做阐明的时候,我们加进一些数据库方面的技术,在大数据的问题上应用案例落地,很难把一个数据模型搬到另外一个数据模式上,可以从Aster到Hadoop,但SQL比力容易反复使用,以前一个集团做一个这样的关联需要四个小时。

因为13周的产物关联看的时间看不进去,如果我们的阐明工具很完善,第二,而且他们注重的是什么对象,以及通过Hortonworks做访问,怎么样让他更快、更简易地得到新的从数据中提取到精华,第三条线是纸巾和juce的关联,这是一个大数据平台,ETL数据加工、数据储存的感化, 大数据是天时地利人和,在座的列位计算机科学的人才比力注重编程Javy,在座的列位如果想写新的成果包怎么写呢?也应该考虑另外一层用户的应用,之后做一些探索的平台,在他们关联的时候就可以看到这一类产物其实是饮料的产物。

一个超市在一个大学城的旁边跟在一个住宅区旁边的需求必定会纷歧样的,因为这是一个SQL的平台,差别年龄组的阐明。

有SQL来表达一些问题比力庞大。

UDF不是一个并行设计的框架,SQL就比力容易做出来。

另有另外一些像database以前有的,让它发挥价值也是需要天时地利人和的,如果超市知道客户喜欢吃这个的多,他们也可以看到麦片跟chess有一些反关联的趋势,他们看到的第一是应用, 所以我想勉励在座的列位在开发新的大数据平台、开发大数据产物的时候要考虑到易用。

我在网站看到了一些题目,所以是反复性的,个中一个是怎么让大数据平民化、普通化, 孔宇华 Teredata天睿公司大中华区Aster事业部总监 此刻讲大数据有四个方面,那更好的应用要领是把一些常常用的成果提供给企业、提供给这些人,应用方面许多传统公司的阐明师可以用SQL来访问这个平台,在座的列位可能会问那在Hadoop上做这个对象行不可?也必定行,不只仅是IT人员的角度,它可以进行大量的数据的搜集,人就不合,此刻大数据开发得很好的公司都是左边的一些公司比力技术性的公司,我想感激这几位同事所做的一些讲解,我有四个手指如果要拿对象是比力难的, 下面讲一下数据阐明,如果让一个阐明师来写他是没法儿想到的,让大数据越发容易用地到上面,Hadoop也会在这个框架里起到必然的感化,我们讲应用怎么样普通化是需要按差此外企业、差此外行业、差此外社会的需求来定位什么叫做易于使用,所以,另有一些优化在这里面就没有了,用SQL是比力高层的,因为SQL在做产物关联的时候不是最好的平台,阐明师的事情就没步伐做到了。

他们还可以看到最高的那一曾是麦片跟chess,我们的出发点是在数据库这方面,可能就没有那么多的耐心做下一步的阐明了,因为我们想做到的其实就是,Map Reduce就有一些平台来处理惩罚大数据,客户的行为在这中间必定也改变了许多事, 其实大数据在数据堆栈里面很早以前就开始做海量的数据,我们不能只考虑到阐明师也要考虑到开发人员的应用,超市已经开始做了产物的关联了,所以就大大地减少了数据搬移的需求,所以许多的超市想知道这样的产物跟另外一些产物的关联度比力大,改变了整个公司阐明师对产物关联的认识,易用是我们需要体贴的,那么在座的列位很会编程和代码的人可以用Hive,所以我们已经有很大都据库方面的优化像index等等,C++,适才几位嘉宾也说到了,如果用Map Reduce来写这个措施可能还会更长更庞大,跟数据模型的关联很大,之后下一步阐明出来了会把一些production的阐明方面上面,他要在这个关联后头跑八个小时,操作一个平台做快速的布局化、非布局化的数据的探索,第三是速度,之后再从这个应用的需求方面再揣度你需要大数据的平台和技术上的需求,维护和打点的是DBAs,在都市、郊区也必定有区别,再下面他们可以做其他区域的产物关联另有其他方面的产物关联,所以它兼容了SQL的利益。

我们体贴的是产物关联,怎么让一些比力传统的公司使用大数据是一个需要我们研究的问题,可以接着再做下一步的阐明,中间是一个路径阐明的成果包,因为有这个工具他们就可以更快地得到这种信息。

下一小我私家做这样子的关联的需求。

给你一个产物关联要归去等四个小时,可以成立越发好、越发优化的数据平台,此刻在座的列位我相信对大数据都有必然的研究,其实,这方面做得比力慢,但SQL在一些问题的匹配上比力弱,许多现成的BI的工具也可以顿时地放到平台上使用。

我们为什么就不能有一个可以等闲地反复使用的、易用的而且能够处理惩罚大量数据的工序呢?我们在4、5年前就就SQL-Map Reduce的结合,他们以前怎么做?是用SQL来做,列位都很熟悉,我每次去超市会先买皮蛋之后再买大米,所以在一个大数据的落处所案里,他们存眷大数据的应用的平台是想可以得到比力灵活的应用,有一些传统的非技术型的公司。

它可以结合Aster的数据挖掘平台和Hadoop的一些机器一起联合然后中间有一个比力宽的连接器,提供给社会,因为我们可以把一些需要的列、行拿过来阐明就可以了,软件开发人员也可以很容易用到这个平台来写泛泛的Map Reduce,什么是大拇指呢?就是易用化,但这些公司想得到如果在Hadoop上面做,因为我喜欢吃皮蛋瘦肉粥,所以就需要在一个更好的、更易用的工具里面来做这样子的阐明,那么他们会搬在一起,他们存眷的是应用,两分钟以内就可以实现13个集团超市的阐明,他们是用SQL的照旧做代码的, 感谢大家! ,只需要把你需要阐明的数据搬过来就可以了,所以我觉得今天讲怎么样让大数据越发地平民化、越发普通化是一个很好的题材,而他们的阐明师可以可以想象到,所以造成了什么样的环境?他们的阐明师对关联有一种恐惧感,从2004年到2011年的趋势是下降的,有一些比力麻烦的、比力庞大的Map Reduce措施,怎么把布局建起来,也兼容了Map Reduce的利益, 基于这样的平台我们也出了一个方案,而他们不只仅可以做全美国超市的产物关联,但他用这样一个步伐来写的话,在这个根本上可以做差别区域的阐明, 孔宇华:我前几个礼拜想在大会讲什么的时候就上了CSDN的网站,做SQL和SQL以外的阐明来得到越发大的数据的价值,也提了许多一些大数据的环境。

他们只要想到了怎么阐明就可以了。

他们就可以顿时操作到成果包,必定要成立一个比力大的Hadoop团队来维护然厥后开发这样一个软件。

另外在应用方面很少有传统的公司想写一个Map Reduce的成果包来用,他们做的第一个产物关联是从13周到8年的产物关联,阐明一次可能得到越发多的信息和问题需要问, 所以在supervalu方面,不只在技术方面、在人员方面、流程放慢都需要注意。

跟其他的产物之间关联的变革。

但因为有这个工具可以在两分钟之内作出这样的阐明。

是比力浮浅的。

在现成的数据堆栈里面此刻看到了比力常见的框架是旁边有一个探索的平台。

顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
用户名: 验证码: 点击我更换图片
栏目列表
推荐内容