AWS 上可用的公用数据集,任何人都可以免费访问

2018年6月23日12:13:05来源:一点资讯AWS 上可用的公用数据集,任何人都可以免费访问已关闭评论3,476 views 1712字阅读5分42秒
摘要

过去,查找、下载、自定义和分析卫星图像或基因组数据等大型数据集需要几个小时或几天的时间。当数据在 AWS 上公开提供后,任何人都可以分析任意数量的数据,而无需自行下载或存储这些数据。您可以使用 AWS 计算和数据分析产品 (包括 Amazon EC2、Amazon Athena、AWS Lambda 和 Amazon EMR) 来分析这些数据集。

AWS 托管了各种公用数据集,且任何人都可以免费访问。

过去,查找、下载、自定义和分析卫星图像或基因组数据等大型数据集需要几个小时或几天的时间。当数据在 AWS 上公开提供后,任何人都可以分析任意数量的数据,而无需自行下载或存储这些数据。您可以使用 AWS 计算和数据分析产品 (包括 Amazon EC2、Amazon Athena、AWS Lambda 和 Amazon EMR) 来分析这些数据集。

地理空间和环境数据集

在 AWS 上的地球页面了解更多有关如何使用 AWS 上的地理空间数据的信息。

  • AWS 上的 Landsat:地球陆地卫星图像集合,持续采集由 Landsat 8 卫星拍摄的卫星图像。
  • AWS 上的 Sentinel-2:地球陆地卫星图像集合,持续采集由 Sentinel-2 卫星拍摄的卫星图像。
  • AWS 上的 GOES:GOES 可以持续提供北美的气候影像并监控该地区的气象和太空环境数据。
  • AWS 上的 SpaceNet:包含商业卫星图像和带标签的训练数据的语料库,用于促进计算机视觉算法的创新发展。
  • AWS 上的 OpenStreetMap:OSM 是一款免费的可编辑世界地图服务,由志愿者创建和维护。可定期在 Amazon S3 中对 OSM 数据进行存档。
  • AWS 上的 MODIS:从美国地质调查局和美国航空航天局管理的中等分辨率成像光谱仪 (MODIS) 中选择产品。
  • Terrain Tiles:一个全球数据集,提供裸地地形高度,平铺显示以便于使用,在 S3 上提供。
  • NAIP:在美国大陆农作物生长季节捕获的 1 米航空图像
  • AWS 上的 NEXRAD:来自下一代气象雷达 (NEXRAD) 网络的实时和存档数据。
  • NASA NEX:由美国航空航天局维护的地球科学数据集,包括气候变化预测和地球表面的卫星图像。
  • 哥伦比亚特区激光雷达:华盛顿特区的激光雷达点云数据。
  • EPA 风险筛选环境指标:从 EPA 风险筛选环境指标 (RSEI) 模型得出的详细空气模型结果。
  • HIRLAM 气象模型:HIRLAM (高分辨率有限区域模型) 是一个由芬兰气象研究所管理的实际天气和中尺度气象预测模型。

基因组和生命科学数据集

了解更多有关云中基因组的信息。

  • 1000 Genomes Project:人类遗传变异详图。
  • AWS 上的 TCGA:来自 The Cancer Genome Atlas (TCGA) 的原有的及处理过的基因组、转录组和表观基因组数据,可供符合条件的研究人员通过癌症基因组云进行访问。
  • AWS 上的 ICGC:完整的基因组序列数据,可供符合条件的研究人员通过国际癌症基因组联盟 (ICGC) 访问。
  • 3000 Rice Genome on AWS:3024 种大米的基因排序。
  • Genome in a Bottle (GIAB):有助于将整个人类基因组序列投入医学实践的某些参考基因组

机器学习数据集

了解更多有关 AWS 上人工智能和机器学习的信息。

  • Common Crawl:包含超过 50 亿网页的 Web 爬取数据语料库。
  • Amazon Bin Image Dataset:拥有超过 500000 个 bin JPEG 图像和对应的 JSON 元数据文件,描述了正在运营的亚马逊运营中心中的产品。
  • GDELT:超过 2.5 亿条记录,可从几乎每个国家/地区的每个角落监控全球的广播、出版物和 Web 新闻,每天更新。
  • Multimedia Commons:约 100M 的图像和视频的集合,附带影音功能和注释。
  • Google Books Ngrams:包含 Google Books 的 n-gram 语料库的数据集。
  • AWS 上的 SpaceNet:包含商业卫星图像和带标签的训练数据的语料库,用于促进计算机视觉算法的创新发展。

金融数据

  • Deutsche Börse 公开数据集:来自 Deutsche Börse 市场交易系统的实时数据,免费向公众提供。

监管和统计数据

  • AWS 上的 IRS 990 Filings:从 2011 年至今提交 IRS 的部分 990 电子报表中可以由计算机读取的数据。
  • AWS 上的 ACS PUMS:使用资源描述框架 (RDF) 数据模型以链接数据格式提供美国人口普查美国社区调查 (ACS) 公用微数据样本 (PUMS)。
  • AWS 上的 USAspending.gov:USAspending.gov 数据库包含联邦政府的所有开支数据,包括合同、津贴、贷款、员工薪资等。
weinxin
扫码,关注科塔学术公众号
致力于成为国内领先的科研与学术资源导航平台,让科研工作更简单、更有效率。内容专业,信息准确,更新及时。
  • 版权声明 本文源自 一点资讯 整理 发表于 2018年6月23日12:13:05
  • 转载请务必保留本文链接:https://www.sciping.com/9230.html
非付费专区改变开放科学 学术文献

非付费专区改变开放科学

  Jason Priem(左)和Heather Piwowar帮助拓展非付费专区。图片来源:Brian Glanz/Open Science Fed. 一些计算机科学家在参加了为期3天的开...
全球部分免费开放的电子图书馆(均已验证可用) 科研助手

全球部分免费开放的电子图书馆(均已验证可用)

 资源来自于网络,本站进行整理核对 美国的国家学术出版社(National Academies Press,NAP)宣布,将其出版的所有PDF版图书对所有读者免费开放下载,并且将这些图书去除DRM保护...
全球15个免费卫星遥感数据源都在这儿,地信人必看! 科研资讯

全球15个免费卫星遥感数据源都在这儿,地信人必看!

如果你在苦苦寻找卫星数据源,那么打开这篇文章的你算是来对了。 如果你在寻找卫星数据源,同时还不想花钱,那么你更来对了。 从农业到环保到气象,遥感数据的应用领域不断纵深。当然,这个看似遥远的概念其实就在...
2004年中国重大科学、技术与工程进展 学术文献

2004年中国重大科学、技术与工程进展

继 2004 年第 3 期《科技导报》遴选公布"2003 年中国大科学 、技术与工程进展“, 本刊编辑部 继续对 2004年我国的重大科学技术进展进行 盘点, 遴选出该年度中国 9 项重大科学进展、8...