糟糕的数据管理就像在不牢固的地基上建造房屋。如果没有正确的数据处理，AI 模型可能会出现性能不佳、增加成本和浪费时间的问题。高效的数据管理是 AI 项目成功的关键。在将数据管理纳入组织的 AI 战略时，有一个四支柱框架值得考虑：重用、循环、改变用途和精简。
1.重用。
组织的数据宝库中蕴藏着宝贵的财富，稍加抛光打磨，它们便可以再次闪亮发光。
数据管理的重用方法涉及将现有数据重新用于新的分析或应用。在数据驱动型决策中，能够最大限度地发挥数据资产的价值，减少冗余并提高效率。下面是两种重用策略：
- 迁移学习和微调。可以将迁移学习和微调视为增强已经建造好的房屋，而不必让架构师重新设计新房屋。Microsoft® Copilot 等预训练模型提供坚实的基础。现有模型最初在大型数据集上接受训练，可以针对特定任务进行修改，例如聊天机器人、总结或歌曲生成。这种方法可以利用现有知识，从而节省时间、计算资源和精力。从数据管理的角度来看，这种方法非常高效。对 GenAI 领域中的基础模型进行微调有助于最大限度地减少对广泛算力和庞大标注数据的需求。这使得开发针对特定用例和业务需求定制的大型模型变得更加可行。
- 重复使用标注数据集。标注数据就像一个井井有条的库——无比宝贵，而且可立即访问。我们可以跨项目重复使用带注释的数据集。例如，为对象检测标记的图像数据集成为各种计算机视觉任务的坚实基础。当我们可以基于现有标签构建标签时，为什么还要费心去重新定义标签？因为这符合经济效益，可加快开发速度，并减少注释工作量，是一项明智的投资。重复使用标注数据可以提高模型的准确性以及实现更高效的评估流程。
通过有效地重用数据，我们可以释放其全部潜力，推动创新并提高效率。采用这些策略可以充分利用我们的现有资源为更智能、更快速的进步铺平道路。
2.回收。
回收利用是指重新处理并重新利用不再积极使用的数据的过程。这包括清理、转换和集成旧数据以使其可用于新的应用或分析，从而最大化其价值并减少浪费。Seagate Google BERT 模型经过大量文本的训练，证明了在数据中循环利用数据的影响。通过重新处理和重新利用大量现有的文本数据，BERT 在自然语言理解方面实现了重大进步。最好的 AI 数据架构师会跳出常规思维，以创新的方式重新利用数据：
- 注释其他标签。扩展现有数据的实用性。假设您有一个情感分析数据集。用其他标签（例如讽刺、紧迫感）进行注释以拓宽其适用性。IBM 的一项研究显示，添加额外标签可以将模型性能提升高达 15%。
- 创建合成数据。当现实世界中缺少数据时，则需要合成数据。生成式模型（例如生成对抗网络 (GAN)）可以创建逼真的样本。NVIDIA StyleGAN 可生成逼真的面孔，用于训练面部识别系统。合成数据可以减少对真实数据的需求（高达 80%），在显著降低成本的同时还可以保护隐私。
3.改变用途。
改变用途意味着利用现有数据，将其用于超出其原始意图的新分析、应用或环境。这包括转换和调整数据以满足新的要求，例如清理、重新格式化和与其他数据源集成。通过重新利用数据，组织可以从其数据资产中提取更多价值，减少冗余并提高效率，最终推动做出更明智的决策和创新。
以下是成功改变数据用途所涉及的一些技巧：
- 数据清理。消除不准确、不一致和重复以确保高质量的数据输入。此步骤对于保持分析和应用的完整性至关重要。
- 数据转换。将数据转换为更适合新分析或应用的不同格式或结构。这可能涉及规范化数据、更改数据类型或重组数据集。
- 数据集成。整合不同来源的数据以创建统一的数据集，提供更全面的视图。这有助于发现在孤立数据集中看不到的新见解和相关性。
- 丰富数据。通过添加来自外部的新信息，增强现有数据，使其更有价值、更深刻。这可能涉及追加人口统计数据、市场数据或其他相关信息。
- 数据匿名化。修改数据以保护隐私，同时保留供分析使用。这在处理敏感信息或个人信息时尤为重要。
- 数据可视化。使用图表、图形和其他可视化工具以更易于访问和理解的方式呈现数据。有效的可视化可以使复杂的数据更易于理解和操作。
通过采用这些技术，组织可以最大限度地提高数据的效用、发现新见解并支持战略计划。
4.精简。
虽然尽可能多地保存数据往往会带来更多价值，尤其是在 AI 用例中，但有时需要减少数据占用的空间。可通过以下方法精简数据：
- 重复数据删除。将您的数据集想象成一个凌乱的工作空间。重复数据删除是 Marie Kondo 的数据管理技术：识别并消除重复记录。重复数据删除可以增强数据完整性和质量。通过整理，组织可以简化他们的数据，提高模型训练的效率。
- 压缩。数据压缩类似于将您的文件压缩成整洁、节省空间的包裹。就像用压缩旅行箱可以防止手提箱里的衣服占据额外空间一样，压缩技术（如 JPEG 和 PNG）可以在不影响质量的情况下最小化数据大小。数据压缩可提高数据传输速度并降低成本。无论是图像、文本还是数字，数据压缩都可在保留基本信息的同时提高存储效率。
- 规范化。如果您曾经用不均匀的音量收听过歌曲播放列表，您就会对知道规范化的好处。规范化通过在各个特征之间保持一致的比例来协调数据。此过程可最大限度地减少数据冗余，提高数据完整性并简化查询。在训练 AI 模型时，这会带来更快的收敛和更高的准确性。可以将其视为制作精良的音频混合——充分规范化的数据集呈现有用的结果。
强化您的 AI 应用。
高效的 AI 数据管理不是奢侈品，而是必备品，并且是成功 AI 项目的基石。
正如坚固的地基可以建造稳固的房屋一样，适当的数据处理对于强大的 AI 模型至关重要。通过实施四个关键方法——重用、循环、改变用途和精简，组织可以优化 AI 数据管理实践。重用标注的数据集可最大化现有数据的价值，而通过重新处理和改变用途来循环使用数据会带来创新的解决方案。通过改变数据用途以用于新的分析或应用，可确保我们从数据资产中提取最大价值。最后，精简数据可以简化模型、加速训练并增强模型性能。
成功的组织采用了这些策略，他们的 AI 项目也因此蓬勃发展。
