Earthmover PBC

Earthmover PBC 是一家总部位于美国纽约的公益公司，运营面向科学数据的云数据平台。该公司自称“科学数据云”，并将其使命表述为赋能人们利用科学数据解决人类面临的重大挑战。其平台旨在让全球科学数据对人和人工智能都可访问，据其官网称，该平台受到领先团队和数据提供商的信赖。 公司由瑞安·阿伯纳西和乔·哈曼创立，两人最初都是气候科学家。阿伯纳西是哥伦比亚大学教授，曾分析数PB级气候数据，并遭遇现有工具和基础设施的局限。哈曼在美国国家大气研究中心（NCAR）和 CarbonPlan 工作时也遇到类似挑战。两人对开源开发的共同投入使他们走到一起，并创立 Earthmover，以构建能够加速科学发现的基础数据基础设施。 Earthmover 的平台围绕三大核心能力组织：存储、治理和计算。在存储方面，公司开发了 Icechunk，这是一项开源（Apache 2.0）技术，将科学数据表示为可无限扩展的多维数组——可在任意轴上分块、压缩并版本化。Icechunk 提供零拷贝摄取，将 NetCDF、HDF5、GRIB 和 TIFF 档案转换为结构化数据立方体，并通过 ACID 事务确保其适用于生产工作负载。Earthmover 称，NASA 实施 Icechunk 后实现了 100 倍加速。在治理方面，公司提供 Arraylake，这是一个元数据和治理层，为现有数据提供目录、搜索、所有权、权限和完整版本历史。Arraylake 支持自带存储桶或使用其托管存储，可与所有公有云以及兼容 S3 的本地对象存储配合使用。在计算方面，Earthmover 在数据所在位置、同一云区域内运行工作负载，硬件可横向扩展以匹配问题规模，使任何存储库都能通过标准协议查询。 Earthmover 将自身定位为行业、政府和学术界的可信合作伙伴，并致力于为多方利益相关者的开源生态系统做出广泛贡献。公司还表示有意培育健康包容的工作文化。其愿景是构建一个科学数据可被轻松探索、可视化、分析、共享和构建的世界，为新的科学知识和数据驱动产品提供基础。

Earthmover 由瑞安·阿伯纳西和乔·哈曼创立，两人都是气候科学家，各自独立地遇到了处理海量科学数据集的困难。阿伯纳西作为哥伦比亚大学教授，分析数PB级气候数据，并遭遇现有工具和基础设施的局限。哈曼在美国国家大气研究中心（NCAR）和 CarbonPlan 工作时也遇到类似挑战。两人都成为开源社区的积极贡献者，构建项目帮助科学家更有效地处理大规模数据。他们通过共同的开源工作相识，并发现了共同的愿景：构建能够加速科学发现、帮助应对人类最紧迫挑战的基础数据基础设施。 这一愿景促成了 Earthmover PBC 的创立，这是一家总部位于美国纽约的公益公司。公司构建了一个围绕三大支柱组织的云数据平台：存储、治理和计算。其存储技术 Icechunk 旨在解决这样一个问题：大多数科学数据以不透明的二进制格式分散在数百万个单独文件中，没有索引也没有地图，导致在云中查询需要完整下载每个文件。Icechunk 将数据表示为可无限扩展的多维数组，可在任意轴上分块、压缩并版本化，支持从 NetCDF、HDF5、GRIB 和 TIFF 档案零拷贝摄取，并通过 ACID 事务适用于生产工作负载。Earthmover 称 NASA 实施 Icechunk 后实现了 100 倍加速，该技术以 Apache 2.0 许可证 100% 开源发布。 治理层 Arraylake 解决的是科学数据在组织内往往几乎不可见、散落在随机存储桶中、缺乏可发现性和治理的问题。Arraylake 为组织已有数据提供目录、搜索、所有权、权限和完整版本历史，支持自带存储桶或托管存储，可与所有公有云以及兼容 S3 的本地对象存储配合使用。计算层在数据所在位置、同一云区域内运行工作负载，硬件可横向扩展以匹配问题规模，使任何存储库都能通过标准协议查询。这一设计反映了公司的观点：在PB级规模下，移动数据是最慢、最昂贵的操作，而不同消费者期望以不同形态和不同协议获取数据。 Earthmover 表示其平台受到领先团队和数据提供商的信赖，并通过让全球科学数据对人类和人工智能都可访问来加速科学进步。公司将自身定位为行业、政府和学术界的关键可信合作伙伴，同时为多方利益相关者的开源生态系统做出广泛贡献，并致力于培育健康包容的工作文化。

• 瑞安·阿伯纳西和乔·哈曼通过共同的开源开发工作相识。

• Earthmover PBC 作为公益公司成立，总部位于美国纽约。

• Icechunk 开发完成并以 Apache 2.0 许可证 100% 开源发布。

• NASA 实施 Icechunk 并实现 100 倍加速。

科学数据云——一个让科学数据对人类和人工智能都可访问的平台，受到领先团队和数据提供商的信赖。

• Icechunk

  开源（Apache 2.0）存储技术，将科学数据表示为可无限扩展的多维数组——可在任意轴上分块、压缩并版本化。提供从 NetCDF、HDF5、GRIB 和 TIFF 档案到结构化数据立方体的零拷贝摄取，并通过 ACID 事务适用于生产工作负载。

• Arraylake

  平台的元数据和治理层，为现有数据提供目录、搜索、所有权、权限和完整版本历史。支持自带存储桶或托管存储，可与所有公有云以及兼容 S3 的本地对象存储配合使用。

• 云计算服务

  计算服务在数据所在位置、同一云区域内运行工作负载，硬件可横向扩展以匹配问题规模，使任何存储库都能通过标准协议查询。

1. 1Earthmoverearthmover.io
2. 2About | Earthmoverearthmover.io
3. 3Earthmover PBC (United States) - Wikidatawikidata.org