谷歌刚刚发布了2500万个免费数据集,了解一下

2020-03-03    来源:raincent

容器云强势上线!快速搭建集群,上万Linux镜像随意使用
注意:谷歌的新数据集搜索工具已于2020年1月23日问世。

疫情防控阶段,大家的“寒假“越过越长,这么“长”时间的寒假能做些什么呢?

 

 

最近,谷歌发布了免费工具datasetsearch,它可以搜索2500万个公开可用的数据集。

搜索工具包括过滤器,可基于许可证(免费或付费)、格式(csv,图像等)和更新时间限制结果。

结果还包括对数据集内容的描述以及作者的引用。

谷歌的数据集聚合方法不同于其他数据集存储库(如亚马逊的开放数据注册表)。与其他自行管理和托管数据集的存储库不同,谷歌不会直接管理或提供2500万个数据集的访问权限。

取而代之的是,谷歌依靠数据集发布者,使用 schema.org的开放标准描述其数据集的元数据。然后,谷歌索引元数据,并使其在发布者之间可搜索。

发布者仍需自己托管数据集,因此符合schema.org标准的营利性发布者也将使用谷歌为其数据集建立索引。根据以往经验,笔者发现,搜索与市场相关的数据集时,其百分比更高,搜索结果中约有一半的数据集来自营利性聚合器。

该平台上其他受欢迎的数据集发布者包括政府机构和研究机构。谷歌声称,仅美国政府机构就已经发布了超过200万个数据集。

据谷歌统计,大多数数据集涉及”地球科学、生物学和农业领域。”

简单使用schema.org的开放标准即可发布自己的数据集。越来越多的出版商遵守该标准,公开可用的数据集的数量可能会持续增长。

目前,谷歌未提供用于搜索或下载免费数据集的API。

网上数百万个数据集出没

在网络上,用户感兴趣的任何主题,几乎都有数百万个数据集。如果想购买一只小狗,可以查找数据集来汇总买家的投诉或查找对小狗认知度的研究。或者,如果喜欢滑雪,可以查找有关滑雪胜地收入或受伤率及受伤人数的数据。Dataset Search 已为其中近2500万个数据集建立了索引,可以在一个地方搜索数据集并查找指向数据所在位置的链接。在过去一年里,人们对其进行尝试并提供了反馈,现在DatasetSearch正式退出测试版。

 

 

查询“滑雪”的一些搜索结果,涉及最快滑雪者的速度以及滑雪胜地收入的数据集。

Dataset Search有何创新之处?

根据从DatasetSearch早期试用版中得到的反馈,开发者添加了新功能。现在,根据所需的数据集类型(例如表格、图像、文本)或是否可以从提供商处免费获得数据集,就可以过滤结果。如果数据集是关于某个地区的,可以查看地图。另外, 该产品现在可以在移动设备上使用,并且数据集描述的质量得到了极大改善。然而,一件事情没有改变:发布数据的任何人都可以使用开放标准(schema.org)在自己的网页上描述其数据集的属性,从而使人们在搜索中可以发现数据集。

开发者还了解到有不同类型的人在寻找数据。有一些学术研究人员正在寻找可以支持其假设的数据(例如:尝试催产素)、学生查找表格形式并涵盖其高级论文主题的免费数据(例如:尝试使用相应过滤器的监禁率)、业务分析师和数据科学家寻找有关移动应用程序或快餐店等的信息。所有这些都有数据!用户都搜索什么呢?最常见的查询包括“教育”、“天气”、“癌症”,“犯罪”、“足球”和“狗”。

 

 

上图为查询“快餐店”的一些搜索结果。

在Dataset Search里有哪些数据集?

Dataset Search还提供了网上数据的快照。此处有一些亮点。数据集涵盖的最大主题是地球科学、生物学和农业。世界上大多数国家的政府都会发布数据,并使用schema.org对其进行描述。美国可用的开放政府数据集超过200万,在数量上遥遥领先。最受欢迎的数据格式是什么?用户可以在DatasetSearch中找到超过600万张表格。

在Dataset Search中找到的数据集数量持续增加。如果站点上有一个数据集,并使用开放标准schema.org对其进行了描述,其他人可以在DatasetSearch中找到它。如果知道一个数据集存在,但是在DatasetSearch中找不到它,请要求提供者添加schema.org描述,其他人也将了解他们的数据集。

未来何去何从?

DatasetSearch已退出测试版,但无论产品是否有“测试版”,改进都将继续。快下载体验DatasetSearch吧!

标签: 数据集 

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点!
本站所提供的图片等素材,版权归原作者所有,如需使用,请与原作者联系。

上一篇:统计数据告诉你有关新型冠状病毒的医学研究进展如何

下一篇:科学战“疫”,看大数据如何发挥作用