9、大数据组织挑战：理解与应对
大数据组织挑战：理解与应对
1. 大数据简介
大数据是数据存储和传输技术进步的结果。如今，人们存储的数据越来越多，期望有一天能从这些数据中推断出知识。早在2010年，思科的互联网业务解决方案集团（IBSG）就指出，连接到互联网的设备数量已超过人口数量（125亿台设备），并预测到2015年将有250亿台设备连接，到2020年将达到500亿台。据IBM称，我们每天会产生2.5万亿亿（2.5×10¹⁸）字节的数据，即2.5艾字节。
收集到的数据需要进行分析，否则就会变成所谓的“暗数据”。长期以来，企业通过数据分析获得了竞争优势，最初是从财务预测和预算开始的。成功利用数据分析进行竞争取决于三个关键领域的能力：数据导向的文化、信息管理和分析经验。
大数据可分为两类：网络相关数据和知识（如维基百科的关联开放数据）以及传感器设备数据。社会、网络和物理数据的整合对于开发新型应用很有意义，这些应用通过将上下文感知融入决策过程而变得更加智能。然而，经合组织（OECD）的调查显示，56%的公司认为“组织孤岛”是有效利用大数据进行决策的最大障碍，也是组织内数据共享的障碍，且大公司（72%）比小公司（43%）更认为数据孤岛是个问题。尽管大数据在研究和出版物中备受关注，但这项技术还需在企业中得到更广泛应用，大数据技术不常被使用的原因主要是组织层面的。
2. 当代数据组织解决方案
2.1 企业数据管理工具
数据仓库和主数据管理（MDM）是经典数据组织和管理的重要解决方案。随着企业可用数据量的不断增长，出现了新的方法、技术和工具。NASCIO（2016）提出了企业级数据管理计划所需的五种工具：
1.数据质量工具 <