大数据可视化技术面临的挑战及应对方法
发布时间：2021-06-05 11:08:55 所属栏目：大数据 来源：互联网
导读：大数据可视化内涵 数据可视化就是将抽象的数据以可见的形式表现出来，帮助人理解数据。大数据可视化相对传统的数据可视化，处理的数据对象有了本质不同，在已有的小规模或适度规模的结构化数据基础上，大数据可视化需要有效处理大规模、多类型、快速更新类型
|
大数据可视化内涵
数据可视化就是将抽象的“数据”以可见的形式表现出来，帮助人理解数据。大数据可视化相对传统的数据可视化，处理的数据对象有了本质不同，在已有的小规模或适度规模的结构化数据基础上，大数据可视化需要有效处理大规模、多类型、快速更新类型的数据。这给数据可视化研究与应用带来一系列新的挑战。
数据可视化这一概念自1987年正式提出，经过30余年的发展，逐渐形成3个分支：科学计算可视化(scientific visualization)、信息可视化(information visualization)和可视分析(visual analytics)。近些年来，这3 个子领域出现了逐渐融合的趋势。本文统称为“数据可视化”。
在传统数据可视化基础上，论文尝试给出大数据可视化的内涵：大数据可视化是指有效处理大规模、多类型和快速变化数据的图形化交互式探索与显示技术。
其中，有效是指在合理时间和空间开销范围内;大规模、多类型和快速变化是所处理数据的主要特点;图形化交互式探索是指支持通过图形化的手段交互式分析数据;显示技术是指对数据的直观展示。
大数据可视化技术
首先从方法层面介绍基本满足常用数据可视化需求的通用技术，根据可视化目标分类介绍，然后根据大数据的特点，重点介绍相关的大规模数据可视化、时序数据可视化、面向可视化的数据采样方法和数据可视化生成技术。
常用的数据可视化技术
数据可视化技术在应用过程中，多数非技术驱动，而是目标驱动。如图显示了目前业界广泛使用的根据目标分类的数据可视化方法，数据可视化目标抽象为对比、分布、组成以及关系。
按目标分类的常用数据可视化方法
对比。比较不同元素之间或不同时刻之间的值。
分布。查看数据分布特征，是数据可视化最为常用的场景之一。
组成。查看数据静态或动态组成。
关系。查看变量之间的相关性，这常常用于结合统计学相关性分析方法，通过视觉结合使用者专业知识与场景需求判断多个因素之间的影响关系。
大规模数据可视化
大规模数据可视化一般认为是处理数据规模达到TB或PB级别的数据。经过数十年的发展，大规模数据可视化经过了大量研究，重点介绍其中的并行可视化和原位(in situ)可视化。
(1)并行可视化
并行可视化通常包括3种并行处理模式，分别是任务并行、流水线并行、数据并行。
任务并行将可视化过程分为独立的子任务，同时运行的子任务之间不存在数据依赖。
流水线并行采用流式读取数据片段，将可视化过程分为多个阶段，计算机并行执行各个阶段加速处理过程。
数据并行是一种“单程序多数据”方式，将数据划分为多个子集，然后以子集为粒度并行执行程序处理不同的数据子集。
(2)原位可视化
数值模拟过程中生成可视化，用于缓解大规模数值模拟输出瓶颈。根据输出不同，原位可视化分为图像、分布、压缩与特征。
输出为图像的原位可视化，在数值模拟过程中，将数据映射为可视化，并保存为图像。
输出为分布数据的原位可视化，根据使用者定义的统计指标，在数值模拟过程中计算统计指标并保存，后续进行统计数据可视化;
输出为压缩数据的原位可视化采用压缩算法降低数值模拟数据输出规模，将压缩数据作为后续可视化处理的输入;
输出为特征的原位可视化采用特征提取方法，在数值模拟过程中提取特征并保存，将特征数据作为后续可视化处理的输入。
时序数据可视化
时序数据可视化是帮助人类通过数据的视角观察过去，预测未来，例如建立预测模型，进行预测性分析和用户行为分析。
 （编辑：新余站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
