当前位置 > 主页 > 万和大讲堂 >


大数据能干啥?南京大数据培训告诉你

2016-08-23 15:42

  这两年大数据这个词特别火,传统企业IT部门都纷纷在探索上线大数据。当然,过去的十年,传统企业IT部门也都纷纷上线了商业智能。很多处于云里雾里的传统企业IT人员,心中第一个困惑就是:大数据和商业智能有啥本质区别。今天南京大数据培训告诉你大数据能干啥?


  一、大数据和商业智能有啥本质区别


  南京大数据培训先抛开数据、抛开业务应用,就说大数据技术平台和商业智能技术平台的本质区别,那就是技术架构的升级。如果你发现你运行一个报表需要3-5天,而且不管升级单台服务器硬件,还是扩展服务器集群,性能提升并不明显,那说明,技术架构不能支撑现有需求了,需要升级技术架构了。那说明你需要考虑上马大数据技术平台了。


  二、大数据为啥这几年火了


  大数据为啥这几年火了,有两方面驱动,一方面是数据量,一方面是数据类型。


  从数据量来说,因为移动手机人手一部随时随地产生信息,智能设备&物联网、产业链打通、互联网社区、电子商务这些新技术新应用的产生,导致数据量激增。如果企业没有搞这些新技术新应用,那数据量只是随企业业务规模增大而增大。


  从数据类型来说,过去企业一般只关注应用系统产生的关系型数据,或者是EXCEL产生的结构性数据。但是随着智能硬件、互联网社区的产生,非结构性信息更多,如照片、视频、音频、日志、聊天记录、地理信息......过去我们不关注这些信息,但是随着我们应用的需求,如生物识别、声音识别、图像识别、视频识别、用户地理周边价值挖掘、社交信息价值挖掘,我们需要收集这些信息,也需要分析这些信息。而过去专注结构性数据的商业智能技术平台显然就不适合来高性能处理这些非结构化信息。如果企业没有收集和处理这些非结构化信息的需求,当然也不存在真正的大数据技术平台购买需求。


  三、大数据能干啥


  大数据技术平台这几年发展飞速,从Hadoop的海量批处理作业,Spark又往前走了一步可以更多的利用内存来计算,而Storm更进一步可以数据边导过来边处理。这就让大数据的计算性能、处理性能高很多,不需要我们再等待几天来看结果了。这样就能满足咱们实时的应用需求,比如说搜索关联推荐想通过用户上下文的点击大数据来实时推荐,过去无法满足,现在可以了。这比过去商业智能OLAP离线数据处理要高很多。


  但是,大数据应用技术这么多年并无长足进步。我们的大数据技术平台只是让更大量的数据可以高性能的存储和计算了,但如何高价值利用数据,我们目前的应用技术还不支撑。


  大数据利用,目前还主要停留在报表查询与统计,只不过这么多数据、这么不同类型的数据,处理性能更高。但是要注意,需要你自己对业务很精通很洞察,你才能设计出有高价值含量的报表,大数据技术平台只是把数据给你按你的要求输出出来,还得你自己分析数据到底有啥价值。所以说啊,你现在购买一套大数据平台,你最后干的事还是做报表、分析报表。


  再往前走一步,现在利用最多的就是搜索关联推荐,这就有点人工智能的意味了,至少相关性算法是要利用上了。如果你没啥需要关联性信息展示的,那有这个功能你也是白浪费。


  现在大数据应用技术热点,今年都扎在了深度学习方面,主要在分类、聚类、回归这些算法上。这些算法在商业智能时代就有了,但是没有360度海量数据来训练算法、调整参数,算法的演进在过去并不快。现在有了移动&智能硬件&物联网、产业链信息打通、互联网社区和电子商务,360度的海量数据有了,数据丰富了,算法训练就进化快多了。而且现在分布式存储和计算中间件平台的兴起,为海量数据的高速存储和计算提供了很好的基础支撑,可以高性能运行起来了,所以近几年在深度学习的精准度方面进展不错。


  大数据应用技术,目前在世界最前沿搞的是模式识别,就是没有模式,机器从从海量数据中24小时不停歇计算,根据初始算法模型不断进行数据训练,自动调节参数,再继续往前演进,这样慢慢会自己形成最佳模式甚至会衍生出变异模式。这就真正智能化了。可惜,这种机器学习模式识别,目前还无法普及性商用,只能在某些特定领域特定训练。


  四、传统企业是否要购买大数据平台


  如果你满意现在的商业智能处理性能、成本,那么你不需要上马大数据平台。因为那表示你的数据量并不大,现有商业智能技术平台能够支撑。


  如果你过去就没做过商业智能项目,那么现在上马大数据平台,我个人觉得无所谓,可以上可以不上,但即使是上,过去搞商业智能的步骤,该弄的还得弄,一步也少不了。而且你仍然别指望数据输出、知识黄金输出。别做春秋大梦,该设计业务报表、该分析解读业务报表,还得搞。大数据技术平台只是让更多的数据可以高性能存储和计算而已。有疑惑?请咨询南京大数据培训


  五、怎么选型


  现在国内搞大数据平台的啊,基本都是用国外的开源技术中间件来搭建。我过去笑称:国外如果不开源Redis、Hadoop、Spark、Storm、Kafka、Zookeeper,国内就没法出现大数据公司了。幸亏去年今年雅虎、微软、Google又开源了一批深度学习框架,致使国内大数据又往前走一步。


  所以啊,选型,只能看谁对这些开源中间件的安装配置维护运维更熟练了。再往前比,只能比谁研发了自动化工具,让安装部署、运维监控预警更加自动化、可视化而已。


  如果这些也都半斤八两,那就来比谁敢做ETL。这是个苦逼累活。因为企业上了这么多年企业信息化,过程中留下很多异常数据、不统一数据。现在要进大数据平台,需要从很多乱七八糟的数据源中去抽取数据、清洗数据。标准数据应该是什么、正确的数据逻辑特征应该是什么。不理解各个系统的业务逻辑和数据特征的人,基本做不了ETL,只能提供一个ETL工具。


  好不容易经过ETL,清洗干净的数据终于进了大数据平台。那该干嘛呢?出报表啊。这还得有精通业务的人来设计报表,还的有精通数据特征和数据逻辑的人来出报表。出了数据报表,还得有精通业务的人根据出来的数据结果进行数据解读。


  数据清洗、业务报表设计、业务报表解读,基本是国内做大数据平台公司的死穴。还得行业化的企业信息化厂商来根据业务设计报表、抽取数据,利用大数据技术平台来存储计算数据。


  废话说了这么多,啊并不觉得是废话。南京大数据培训就是想勾引各位小伙伴们来学数据嘛。如此优秀的资源和别人望眼欲穿的实习机会你再不紧紧抓住就真的要在求职浪潮中被拍死在沙滩上了。


最近开班 more>
  • 全栈开发
  • 前端基础班
  • 软件测试
  • Java大数据开发工程师
  • 云原生精英班
  • 开发课程基础班第四期
  • 开发课程基础班第三期
  • 开发课程基础班第二期
  • 开发课程基础班第一期
  • Java Web UI Python
  • CISP
  • HCIE-Datacom(HCIA,HCIP基础)
  • HCIP-Datacom(HCIA基础)
  • HCIA-Datacom(0基础)
  • HCIE-Datacom(HCIA,HCIP基础)
  • HCIP-Datacom(HCIA基础)
  • HCIA-Datacom(0基础)
  • OCM 12C
  • OCP 19C
  • RHCE 9.0
  • 脱产班
  • 脱产班
  • 脱产班
  • 脱产班
  • 脱产班
  • 脱产班
  • 脱产班
  • 脱产班
  • 脱产班
  • vip班
  • 考试计划
  • 脱产班
  • 脱产班
  • 脱产班
  • 双休班
  • 双休班
  • 双休班
  • 双休班
  • 业余班
  • 业余班
  • 10月16日
  • 9月23日
  • 9月2日
  • 9月30日
  • 8月26日
  • 10月8日
  • 9月23日
  • 9月16日
  • 9月9日
  • 随时开课
  • 9月21日
  • 10月17日
  • 9月18日
  • 9月2日
  • 11月2日
  • 10月26日
  • 9月7日
  • ——
  • 随时开课
  • 9月26日
    • 姓 名 :
    • 电 话 :
    • 课 程 :

技术交流群

  • Java大数据交流群560819979加入
  • Python技术交流群595083299加入
  • Oracle技术交流群595119011加入
  • Web前端技术交流群604697610加入
  • Huawei技术交流群482919361加入
  • Redhat技术交流群587875348加入
  • UI设计技术交流群511649801加入
  • Cisco技术交流群596886705加入
  • IT运维技术交流群605888381加入