图书馆与图书馆事业

数据湖元数据管理体系:需求剖析、功能架构与未来展望*

展开
  • (1.中国人民大学信息资源管理学院   北京   100872)
张贵香,女,中国人民大学信息资源管理学院博士研究生;贾君枝,女,中国人民大学信息资源管理学院教授,博士生导师;薛鹏珍,女,中国人民大学信息资源管理学院博士研究生。
贾君枝(junzhij@163.com)

收稿日期: 2025-01-03

  网络出版日期: 2025-02-25

基金资助

本文系中国人民大学2024年“求是学术-栋梁”育人育才项目“文物知识本体语义互操作研究”(项目编号:581124063909)研究成果之一。

Metadata Management System for Data Lakes:Requirements Analysis, Functional Architecture, and Future Directions*

Expand

Received date: 2025-01-03

  Online published: 2025-02-25

摘要

随着全球数据产量呈现指数级增长,传统数据管理系统正面临数量庞大、多样化和实时性要求的挑战。数据湖作为大型原始数据存储库,已成为有效处理各种类型和规模数据的关键工具。为了防止数据湖演变为数据沼泽,必须重视元数据的有效管理。文章聚焦数据湖数据生命周期,探究数据湖元数据管理需求,归纳数据湖元数据类型;综合分析各领域的元数据架构,梳理数据湖元数据系统功能,揭示其在整个数据湖系统中的关键作用,并提出了数据湖元数据管理发展方向。探讨了数据湖的运作机制以及数据湖元数据管理逻辑,为应对不断增长的数据挑战提供了有力支持。

本文引用格式

张贵香 贾君枝 薛鹏珍 . 数据湖元数据管理体系:需求剖析、功能架构与未来展望*[J]. 图书与情报, 2025 , 45(01) : 106 -116 . DOI: 10.11968/tsyqb.1003-6938.2025011

Abstract

As global data production grows exponentially, traditional data management systems are increasingly challenged by demands for handling massive, diverse, and real-time data. Data lakes, serving as extensive repositories for raw data, have emerged as essential tools for managing data of varying types and scales. To prevent data lakes from deteriorating into data swamps, effective metadata management is crucial. Focusing on the data lifecycle within data lakes, this paper explores metadata management requirements, categorizes types of metadata in data lakes, and provides a comprehensive analysis of metadata architectures across various fields. The study further synthesizes current metadata architectures in data lakes and outlines the core functionalities of metadata management systems, highlighting their critical role in data lake ecosystems. This discussion of data lake operation mechanisms and metadata management logic aims to support the growing data management challenges.
文章导航

/