大数据是由数量巨大、结构复杂、类型众多的数据结构的数据集合,在合理时间内,通过对该该数据集合的管理、处理、并整理成为能帮助政府机构和企业进行管理、决策的讯息。
大数据技术发展可以分为六个方向:
1、在大数据采集与预处理方向。这个方向常见的问题是数据的多源和多样性,导致数据的质量存在差异,影响到数据的可用性。
2、大数据存储与管理方向。这个方向常见的挑战是存储规模大,存储管理复杂,需要兼顾结构化、非结构化和半结构化的数据。分布式文件系统和分布式数据库相关技术的发展正在有效的解决这些问题。其中大数据索引和查询技术、实时及流式大数据存储与处理的发展。
3、大数据计算模式方向。如今出现了多种典型的计算模式,包括大数据查询分析计算、批处理计算,流式计算、迭代计算、图计算、内存计算。
4、大数据分析与挖掘方向。在数据类迅速膨胀的同时,还要进行深度的数据分析和挖掘,因此越来越多的大数据分析工具和产品应运而生。
5、大数据可视化分析方向。通过可视化方式来帮助人们探索和解释复杂的数据,有利于决策者挖掘数据的商业价值,进而有助于大数据的发展。
6、大数据安全方向。当我们在用大数据分析和数据挖掘获取商业价值的时候,黑客很可能在向我们攻击,收集有用的信息。通过文件访问控制来限制呈现对数据的操作、基础设备加密、匿名化保护技术和加密保护等技术正在大程度的保护数据安全。
大数据相关技术的生命周期将会比较长,但是随着科技的发展,大数据技术也必然会从一个新技术走向传统技术。