华企商城欢迎您! 登录 注册 总站[切换城市]
中国优秀的企业全生态服务平台 我的购物车0

咨询热线: 010-85755626

售后服务: 010-85779318

首页 >华企学院 >源码教程 > 大数据出现的原因是什么呢?

大数据出现的原因是什么呢?

作者:华企商城 阅读次数:222次 发布时间:2018-06-16 22:08:15评论:0

  大数据出现的原因是什么呢?

  大数据出现的原因:

  大多数的技术突破来源于实际的产品需要,大数据最初诞生于谷歌的搜索引擎中。随着web2.0时代的发展,互联网上数据量呈献爆炸式的增长,为了满足信息搜索的需要,对大规模数据的存储提出了非常强劲的需要。基于成本的考虑,通过提升硬件来解决大批量数据的搜索越来越不切实际,于是谷歌提出了一种基于软件的可靠文件存储体系GFS,使用普通的PC机来并行支撑大规模的存储。存进去的数据是低价值的,只有对数据进行过加工才能满足实际的应用需要,于是谷歌又创造了MapReduce这一计算模型,该模型能够利用集群的力量将复杂的运算拆分到每一台普通PC上,计算完成后通过汇总得到最终的计算结果,这样就能够通过直接增加机器数量就获得更好的运算能力了。

  有了GFS和MapReduce之后,文件的存储和运算得到了解决,这时候又出现了新的问题。GFS的随机读写能力很差,而谷歌有需要一种来存放格式化数据的数据库,原本通过单机的数据库就能解决的问题到了谷歌那里就悲剧了,于是神器的谷歌就又开发了一套BigTable系统,利用GFS的文件存储系统外加一个分布式的锁管理系统Chubby就设计出来了BigTable这样一个列式的数据库系统。

  在谷歌完成了上述的系统后,就把其中的思想作为论文发布出来了,基于这些论文,出现了一个用JAVA写的类GFS开源项目Hadoop,最开始hadoop的赞助人是yahoo,后来这个项目成了Apche的顶级项目。

华企商城更多商品介绍:网站制作一条龙     度假酒店预定网站展示免费网站模板建站    威海网站优化推广公司

文章转载请注明出处:http://www.netshop168.com/article-72644.html

有好的文章希望华企帮您分享推广,猛戳这里我要投稿

【版权声明】本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件至 1324939756@qq.com 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

我来说两句 0条评论

最新评论

栏目最新文章

找到您想要的文章

快速发布任务

  • 频道热点
  • 全站热点