区块链技术有望让数据时代民主化

有些人喜欢说“数据为王”。 Flux的团队倾向于略微不同的术语：它认为“数据是一个制造者。”收集，存储和分析数据的能力是个人和组织的力量。
到目前为止，获得这种制造大国的力量是非常不平等的。它集中在少数几家公司的手中，其中大部分公司起初已经非常强大。它们本身拥有收集质量数据并将其转化为价值所需的巨大资源。
与此同时，世界其他地区的数据仍在淹没，但这些数据及其带来的权力仍然无法实现。通过扩展，以最大化其为整个社会的集体利益服务的潜力的方式利用这些数据的能力是有限的。
幸运的是，现在正在发生变化。提供数据访问的新方法，以及用于关联数据，实例化数据和实时分析数据的新工具，有望迎来民主化数据时代。
在本文中，Flux介绍了数据如何实现民主化。它侧重于收集和分析环境数据的具体用例，尽管下面讨论的趋势有可能在数据导致洞察力的任何地方发挥作用。
数据民主化的挑战
理论上，任何人都可以收集数据或访问由政府机构和承诺开放数据的其他组织收集的各种开放数据集。
理论上任何人都可以分析和处理数据;毕竟，大数据处理的大多数主要框架，如Hadoop和Spark，都是开源的。阻止某人下载和运行它们没有任何技术或法律障碍。
然而，在实际水平上，实际上大规模地收集，转换，存储和/或分析数据对于当今的大多数个人和组织来说是不可行的。出于多种原因，这是真的：
数据收集率很高，范围很广。大多数开放获取的环境数据集都集中在广泛的区域。如果您想要研究特定的地方或小气候，可能很难找到您需要的数据。虽然理论上您可以自己收集数据，但由于传统上缺乏价格合理的开放式数据传感器，因此部署和管理您自己的传感器或其他数据采集器通常是不现实的。
数据可能有偏差。即使您可以访问原始的开放访问数据，也无法确定数据的呈现方式是否会妨碍您准确或公平地解释数据。
数据存储很昂贵。当然，您现在可以将数据存储在公共云中，每千兆字节只需几美分。但是，当您的数据集达到TB级时，这些成本就会增加，很少有组织能够长期维持这些成本。 (如果您不长期收集数据，您可能会错过重要的见解，特别是在环境数据等环境中，其中变化通常是由不常发生的突发事件引起的。)
预先收集的数据是过时的数据。如果您依赖其他人收集的数据，那么在您访问数据时，数据可能会过时。此外，它将花费您更多时间来转换数据，清理数据质量问题并运行分析。所有这一切都完成后，您可以从数据中收集的见解可能已经过时。解决这些问题的唯一方法是实时收集和分析数据，但同样，大多数组织缺乏自己完成此任务的资源。
缺乏数据解释和人工智能(AI)工具。同样，许多用于收集和处理大型数据集的框架都是开源的。但是，用于理解数据的高级工具，如AI算法，往往是专有的。开发这些工具的公司在其中投入了大量资金，很少将其提供给第三方。
对数据和AI共享的激励不足。前面提到的挑战的部分原因是很少有组织有强烈的动机来分享他们的数据和专有的AI工具。迄今为止，大多数受益于数据的公司通过广告或内部研究将其货币化;他们与第三方分享他们的数据和数据工具几乎没有什么回报。
所有上述方法的含义是，到目前为止，数据往往非常不民主。它增加了强大的组织的能力，因此有资源进行大规模的专有数据收集和分析计划。它让其他所有人都在努力理解开放数据集中可用的数据花絮，这些数据通常对获得实时洞察力的价值有限。即使您可以访问有意义的相关数据，也可能没有将数据转化为有价值所需的高级AI工具。