Hadoop

2018年7月12日21:06:42Hadoop已关闭评论12,332 views 437字阅读1分27秒
摘要

一个框架支持使用简单的编程模型跨计算机集群分布式处理大型数据集

网站名称: Hadoop
所属国家: 美国
网站分类: 科研数据
网站地址: http://hadoop.apache.org
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。
Hadoop
weinxin
扫码,关注科塔学术公众号
致力于成为国内领先的科研与学术资源导航平台,让科研工作更简单、更有效率。内容专业,信息准确,更新及时。
  • 本文由 发表于 2018年7月12日21:06:42
  • 转载请务必保留本文链接:https://www.sciping.com/11196.html
全球研究基础设施高级官员小组(GSO) 科研机构

全球研究基础设施高级官员小组(GSO)

全球研究基础设施高级官员小组(Group of Senior Officials (GSO) on global Research Infrastructures)(GSO) 在国际科学政策高级别会议...
欧洲网格基础设施(EGI) 云市场 科研站库

欧洲网格基础设施(EGI) 云市场

直达链接 欧洲网格基础设施(EGI) 云市场 EGI云市场(Marketplace)可以宣传服务以及客户可以轻松订购和访问服务的平台。 EGI云市场由波兰克拉科夫科技大学的CYFRONET AGH学术...
欧洲网格基础设施(EGI) 科研站库

欧洲网格基础设施(EGI)

直达链接 欧洲网格基础设施(EGI) 欧洲网格基础设施(EGI European Grid Infrastructure) 是一个国际性的合作机构,致力于通过整合数字功能、各界资源和专业知识为科学研究...
高能同步辐射光源验证装置介绍 科研站库

高能同步辐射光源验证装置介绍

2015年2月,高能同步辐射光源验证装置(High Energy Photon Source Test Facility, HEPS-TF)项目建议书获国家发展改革委批复。该项目主要就未来建设高能同步...