大数据关键技术分析之大数据存储及管理
发布时间：2021-12-12 19:27:36 所属栏目：大数据 来源：互联网
导读：数据存储作为大数据的核心环节之一，可以理解为方便对既定数据内容进行归档、整理和共享的过程。自磁盘系统问世以来，数据存储已经走过了近百年的历程。 对于存储，计算机就像我们的大脑一样，两者都可以拥有短期记忆和长期记忆，例如大脑是通过前额叶皮层来
 数据存储作为大数据的核心环节之一，可以理解为方便对既定数据内容进行归档、整理和共享的过程。自磁盘系统问世以来，数据存储已经走过了近百年的历程。 对于存储，计算机就像我们的大脑一样，两者都可以拥有短期记忆和长期记忆，例如大脑是通过前额叶皮层来处理短期记忆，而计算机则利用RAM(随机存取存储器)来处理短期记忆。大脑和计算机都需要在清醒的状态下处理并记住事务，并在工作一段时间后会感到疲倦。 大脑在睡眠时会将工作记忆转换为长期记忆，而计算机则在睡眠时将活动记忆转换为存储卷。计算机还会按类型来分配数据，就像大脑按语义、空间、情感或规程来分配记忆一样。 而在大数据时代，由于从多渠道获得的数据通常缺乏一致性，数据结构混杂，且数据不断增长，更何况任何机器都会有物理上的限制：内存容量、硬盘容量、处理器速度等。 这就导致对于单机系统来说，即使及时不断提升硬件配置也很难跟上数据增长的速度，我们需要在硬件限制和性能之间做取舍。 因此对于那些希望从比存储和使用成本更高的数据中获得价值的企业和组织来讲，有效的数据存储和管理变得比以往任何时候都更加重要。 —— 大数据存储与管理的技术对整个大数据系统都至关重要，数据存储与管理的好坏直接影响了整个大数据系统的性能表现。 数据存储和管理如今并不止被定义为接收、存储、组织和维护组织创建的数据，更多时候它还意味着更多内容，包括但不限于： 对数据进行分类; 聚合、收集和解析数据的元数据; 保护数据和元数据不受自然和人为中断的影响; 在内部部署和地理上移动数据，以进行共享、归档、复制、数据保护、存储系统技术更新和迁移，并访问所需的分析引擎，从而对该数据进行更深入的研究; 在进行一次或多次移动后，保持用户和应用程序对数据的透明访问; 提供用户可定义的策略，这些策略可自动移动、复制和删除数据; 部署人工智能和机器学习以优化和自动化大多数数据管理功能; 搜索数据并提供可行的信息和见解; 使数据符合个人识别信息法律和法规; 将数据管理扩展到数百PB甚至EB的快速扩展数据。 —— 根据数据存储和管理的内容范围，我们可以大致理解大数据存储及管理技术需要重点研究如何解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。 具体来讲需要解决的往往是以下几类问题：海量文件的存储与管理，海量小文件的传输、索引和管理，海量大文件的分块与存储，系统可扩展性与可靠性。 （编辑：新余站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
