大数据时代下灾害档案数据管理探讨
中图分类号：C931.2 文献标志码：A 文章编号：1673-291X（2015）14-0271-02
进入21 世纪，人类在信息存储和处理能力方面不断涌现技术性的突破，大数据（Big Data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据。大数据是继云计算、物联网之后IT产业又一次颠覆性的技术变革。大数据时代的到来，各行各业都面临着对庞大而复杂的数据进行有效管理的巨大挑战，人们越来越认识到对自身产生和拥有的大数据进行有效管理的重要性和迫切性，灾害档案数据管理也不例外。随着计算机技术和网络通讯技术的飞速发展，灾害管理信息化程度不断提高，灾害档案数字化、网络化管理已成为网络信息时代档案管理工作的必然选择。面对汹涌而来的大数据，灾害档案数据管理工作如何应对，是摆在我们面前一个亟需研究的课题。
一、大数据的概念
关于大数据的定义，最早提出“大数据”时代到来的全球知名咨询公司麦肯锡称：大数据是指无法在一定时间内用传统数据库软件工具对其内容进行采集、存储、管理和分析的数据集合。维基百科的定义：大数据指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策目的的资讯。还有学者认为大数据指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产[1]。可以看出，大数据由海量交易数据、海量交互数据和海量数据处理三大主要的技术趋势汇聚而成[2]。
从本质上看，大数据主要解决的是海量数据存储、计算、挖掘和利用的问题。其特点可概括为“ 4V”，一是规模性（Volume），数据容量巨大，大型数据集合一般在几十TB至PB级的数据量；二是多样性（Variety），数据类别繁多，数据来自多种数据源，数据种类和格式日渐丰富；三是高速性（Velocity），数据处理速度快，在数据量庞大的情况下，实现数据的实时处理；四是价值性（Value），数据真实性高，愈发需要有效的信息资源确保其真实性与安全性[3]。可以说，大数据时代是一个数据资源更加丰富的时代，是一个信息技术更加先进的时代。
灾害档案数据资源主要来自灾害管理和科研活动产生的电子文件，按照来源和形成方式不同，可以分为数据库文件、电子数据表、字处理文档、电子邮件、扫描图像、地理空间数字记录、数字照片、网站及其相关文档。灾害档案数据具有分布性、多源性、异构性等特点。从灾害档案管理部门来看，灾害档案资源主要集中在民政、水利、气象、地震、国土、环保、测绘、军队、海洋等部门，档案数据源分散在不同部门、不同地点，并由不同行业、不同单位和组织机构所拥有。从灾害档案内容来看，包括灾情、气象、遥感影像、基础地理、专题地图、涉灾行业、经济统计、现场多媒体等多种数据。近年来，灾害档案数据管理有了较大提高，但由于缺乏强有力的技术支持，档案信息服务水平还比较落后，普遍存在管理意识薄弱、数字化建设不足、服务方式被动、开发利用欠缺等一系列的不足，利用信息技术进行档案数据分析、开发、利用、交换、共享的水平还很低，没有充分发挥档案信息的凭证、参考和情报作用，无法满足管理部门对灾害档案信息的需求。
二、大数据技术在灾害档案数据管理中的应用优势
目前大数据研究成果最多的是大数据技术和大数据应用。大数据技术的特色在于它依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术对海量数据进行分布式数据挖掘，在金融、医疗、教育、军事、电子商务甚至政府决策等几乎所有的领域都有非常广阔的应用空间。随着大数据时代的到来，应用大数据技术让灾害档案数据获取、储存、搜索、共享、分析，乃至可视化地呈现，成为了可能，为灾害档案数据管理提供新思路和新方法。
1.大数据技术对实现灾害档案智能管理提供强大保障。大数据技术具有的可靠安全的数据存储、方便快捷的云服务、超强的计算能力、诸多技术的集合体、良好的经济效益以及以用户为中心的个性化服务等优势，对实现灾害档案“存储数字化、管理自动化、利用网络化”智能管理提供保障。应用大数据技术对分散于不同部门、不同地理位置的档案数据资源进行管理、传输、检索和提供利用，满足用户对档案信息的远程访问操作，包括信息查询、检索、统计、提取等，实现档案数据资源的互联互通和共享利用，将档案“藏”和“用”的功能都提高到一个新的水平，对于充分发挥档案数据资源的价值具有前所未有的推动作用。
2.大数据技术对实现灾害档案数据挖掘提供有力支持。数据越来越多。传统的档案管理以文档管理为主，档案基本处于被动利用，沉淀的档案没有人去分析利用，也没有技术工具去支撑挖掘和分析。大数据最核心的价值就在于对海量数据进行存储和分析，只有通过分析，才能获取更多智能的、深入的、有价值的信息。在大数据时代，档案系统中除了大量的文档之外，还有海量结构化数据，并且数据利用的效果要大于文档利用效果。档案部门在收集大数据之后，通过主动调查利用者的需求，建立各种数据模型，对海量数据进行聚类、分类、相关性分析，找到数据之间的关系，提高档案价值，将原来的“死档案”变成“活信息”，为灾害管理决策提供参考。
3.大数据技术对实现灾害档案知识服务提供解决途径，解决灾害档案如何实现知识服务，如何从浩如烟海的档案数据中快速识别、选择和有效利用档案信息，为灾害管理部门提供知识服务和智力支持，发挥档案的参考凭证、决策咨询、评估依据作用。应用大数据智能识别、传感与适配等技术，构建基于基础框架体系、大数据处理体系、过程管理体系、大数据分析与决策体系、交互体系的大数据知识服务平台[4]将成为有效的解决办法和途径。灾害档案大数据知识服务平台搭建的是一个大数据获取、存储、组织、分析和决策服务资源和服务能力共享、交易和协作的智慧平台，依据灾害管理不同行业、不同领域、不同需求的大数据处理需求，在平台上实现数据、知识、资源、能力、服务、过程和任务等资源和能力的共享和协作。 三、大数据时代下灾害档案数据管理的应对策略
当前，我国经济发展已进入新常态，认识新常态、适应新常态、引领新常态，是当前和今后一个时期中国经济发展的大逻辑，也是发展档案事业的基本遵循。灾害档案工作主动适应新常态，需要分析发展新变化，顺应发展新趋势，这既是经济社会发展对灾害档案管理提出的更高要求，也是档案事业深化改革和持续发展的内在需要。在大数据时代背景下，灾害档案的产生主体、利用群体、生态环境都发生着新变化，灾害档案数据管理应用大数据技术分析、挖掘出庞大的档案数据独有的价值，从“被动服务”向“主动服务”转变，还面临着诸多挑战，需要从以下方面加以完善和提高。
1.建立高效有序的运行机制。大数据建设是一项有序的、动态的、可持续发展的系统工程，必须建立良好的运行机制，以促进建设过程中各个环节的正规有序，实现统筹协调，搞好顶层设计。应当增强灾害档案数据管理意识，做好灾害档案数据发展规划，并将其纳入国家综合防灾减灾规划中，建立灾害档案数据标准与规范，构建档案数据管理系统，实现灾害档案数据有效组织、集中存储、共享与服务。
2.制定科学规范的建设标准。灾害管理涉及部门多、领域多、专业复杂，各部门都是按照各自定义的内部数据标准进行信息系统建设，因此存在灾害档案数据资源结构不统一、标准不配套等问题。没有标准就没有系统，应建立面向不同主题、覆盖各个领域、不断动态更新的大数据建设标准，为实现各级各类信息系统的网络互连、信息互通、资源共享奠定基础。
3.搭建共享利用的服务平台。我国的灾害管理涉及多个部门，通过几十年的努力，已经积累了海量与防灾减灾相关的专题数据，并建立了一些信息网络系统，部分开展了信息共享，但绝大多数灾害管理相关数据还没有实现有效共享和利用。数据只有不断流动和充分共享，才有生命力，所以应在各专用数据库建设的基础上，通过数据集成，实现各级各类信息系统的数据交换和数据共享。
4.培养高素质的专业队伍。灾害档案大数据建设的每个环节都需要依靠专业人员完成。一方面，需要培养和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍；另一方面，需要加强档案管理人员对信息技术的掌握，加强档案管理人员大数据相关知识的培训和辅导，做好大数据背景下档案管理的人才储备。
结语
档案大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些有较高价值的饱含历史意义的数据进行专业化处理[5]。大数据时代下灾害档案数据的巨大价值如何从“沉睡”中醒来并在灾害管理实践中发挥作用，无论是在档案数据资源建设、科学技术支撑，或是在管理机制运行、人才队伍培养等方面都还存在巨大的发展空间，大数据技术应用也还有大量基础性工作亟待开展。一场不同于以往的技术革新已经到来，大数据时代的发展对灾害档案数据管理既是挑战，更是机遇。可以预料，在不远的未来，随着大数据技术的日臻完善和成熟应用，对灾害档案数据管理必将产生深刻影响。目前我们需要关注的是清晰了解、充分掌握大数据服务的技术实质、特征、基本属性与应用价值，然后有所选择地引入灾害档案数据管理领域，从而进一步提升灾害档案的服务能力，将档案管理事业推向一个全新的发展高度。
- 上一篇：教学档案的管理现状及问题
- 下一篇：新形势下如何加强和改进高校档案工作
