基于大数据的高校决策分析系统的构建
中图分类号：TP311.13
随着计算机技术和互联网以及物联网的不断发展，各种系统结构化和非结构化数据以前所未有的惊人速度迅猛增长，“大数据”时代已经到来。大数据是指数据结构比较复杂、数据规模大的数据集合。其数据量已经远远超出了一般数据管理工具可以承受的处理时间以及数据处理及存储管理能力。在当今大数据环境下，高校管理系统的数据结构及数据量发生了巨大的变化。在数据存储、数据管理、数据分析及数据挖掘等方面面临着巨大的机遇和挑战。为了有效地利用大数据为高校决策分析提供更好的服务，我们必须基于大数据建立相应的决策分析系统。
目前许多高校已积累大量的教学资源和管理数据，从而形成了规模巨大、结构复杂的数据集，为高校的教学管理决策提供了强有力的支持，成了高校教学管理不可缺少的一部分。随着教学改革的不断推进，高校对数据的需求已经从原来的简单事务处理方式转向面向信息分析处理、数据挖掘及决策支持等。因此，针对现有的大数据集合建立决策分析系统，对高校决策分析具有重要的实际意义。决策分析系统是目前知识发现和数据管理领域中的一项重要技术，它基于神经网络算法、机器学习及人工智能等方法进行数据挖掘和知识发现，从而在大数据中获取数据之间内在的相互联系，以及其中可能存在的某种规律，从而帮助决策者快速做出正确的决策，进而提高高校教学管理的科学性，为高校带来良好的决策管理。
1 基于大数据决策分析系统的数据存储方式
高校基于大数据决策分析系统存储数据主要是从校内外各种数据源中获得最原始数据，并对该部分数据进行整合形成数据层，然后将数据层中的数据经过抽取、清洗、转换、装载进入数据仓库从而形成支撑层，在支撑层的基础上，可以根据需求对数据进行挖掘分析，从而构建决策层。当前高校基于大数据决策分析系统的数据存储方式包括基于关系数据库的存储、基于多维数据集存储和虚拟化存储3种数据组织方式。
1.1 基于关系数据库的存储方式
该存储方式主要依托关系数据库存储数据，基于关系的数据存储方式是将分析决策系统中的数据存储在关系型数据库的表中，同时在元数据的管理下进行数据存储管理，从而完成数据分析、决策支持功能。该存储方式在构建数据库时主要采取以下步骤进行数据的抽取：首先，利用图形化的操作界面进行操作，用户能够对关系数据库的数据进行选择操作，同时可以建立和定义多维度数据模型；然后，采用特定程序从关系数据库中抽取某一维度数据。基于关系数据库的存储方式不是简单的从业务系统中抽取数据，而是对业务系统中的数据进行清洗、加工、汇总和整合，从而保证基于大数据分析决策系统内的需要，是针对高校全局的一致的数据。总之，基于关系数据库存储方式要求将学校内各个业务系统的原始数据整合，从而用来支持特定的查询、统计分析和决策支持，以便管理层对某一阶段历史数据进行统计分析。
1.2 基于多维度的数据集存储方式
基于多维度的数据存储方式和基于关系的数据库存储方式不同，是采用数据立方体的方式管理与存储数据，同时以多维度显示与组织数据，是一种基于在线联机分析处理（OLAP）的数据组织形式。该数据存储方式主要采用多维数组结构文件进行数据存储，同时具有不同维度索引及数据管理文件与数据一一对应。该数据存储方式采用“多维数据集（CUBE）”，多维数据集将传统的二维关系表组合成多维数据立方体，数据属性对应为维度（Dimension），在数据属性下的值被称作度量（Measure）。也就是说，将数据由传统的二维关系表组合成多维度立方体，在数据立方体上进行切块（Dicing）与切片（Slicing）、旋转（Turning）、上卷（Rolling-up）、下钻（Drilling-down）等一系列操作（如图1）。
图1 数据立方体的上卷、下钻等一系列操作
1.3 基于虚拟化的数据存储方式
虚拟化存储方式主要有两种存储方式，第一种是将企业内外部结构化和非结构化数据整合到单一的数据存储平台上，从而形成一个单一的数据存储资源池，这样有利于存储基础设施进行统一管理，从而容易实现数据资源共享、存储容量回收和存储空间最大化利用，进而更好的实现存储设施的重复使用，最终实现提高存储基础设施容量效率，以满足当前基于大数据的决策分析系统的需要。第二种存储方式是仅从逻辑上进行整合，也就是说，决策分析系统中没有专门的存储空间，系统中的所有数据一律存储在源业务系统的数据库中，根据决策分析系统的不同维度的需求，业务系为决策分析系统提供数据接口，形成针对决策分析系统的维度视图，决策分析系统临时从业务系统数据库中提取所需数据，从而完成不同维度的数据分析。该存储方式实现简单、成本底，但最大弱点是对业务系统数据规范性、完备性要求极高。同时，还要求业务系统数据模型应非常接近决策分析系统的多维数据模型。
2 基于大数据高校决策分析系统的层次结构
根据高校管理决策需求的特点，首先将当前各信息系统的信息如学籍信息、学工信息、招生就业信息等当前及历史数据和一些其它辅助数据经数据抽取、清洗、转换、装载进入数据仓库，在数据仓库的基础上进行数据挖掘。基于大数据的高校决策分析系统应该三层，分别为数据层支撑层和决策层（如图2）。
图2 基于大数据的高校决策分析系统层次结构
2.1 数据层
分析决策系统的底层是数据层，该层是构建决策系统的数据仓库的基础。数据层包括校内外的各种数据源，内部数据源主要包括学校的各种应用系统的数据库、数据中心的各种备份数据库和存档、以及学校内的各种其它数据资源。外部数据源包括学校之外的各种数据库和数据资源。从而形成一个内容覆盖面广且时间跨度长的海量数据仓库，位学校决策支持提供了庞大的数据基础。 2.2 支撑层
支撑层作为决策层访问数据层的桥梁，有效的解决了分析决策需求目标难以量化的特点，该层对不同数据源中数据进行收集、分类、抽取、清洗、转换从而装载到数据仓库，通过数据仓库可以对不同数据源进行统一管理，可以为决策层的各种应用提供了标准接口，从而可以构造面向主体分析的更高粒度的数据集市。同时，支撑层将数据仓库中的数据按照特定的层次进行汇总聚合，构成数据分析的多维视图。以便决策层从不同角度进行分析使用。
2.3 决策层
决策层由通用平台和面向主题平台组成。为了适应决策需求不稳定的特点，通用平台是提供一些简单分析模型和常用的数据挖掘方法，以便在通常情况下不必建立专门应用分析系统。极大提高了决策支持系统的灵活性和通用性。针对相对稳定且复杂的决策需求，面向主题平台从数据仓库抽取特定数据，建立面向主题的数据集市，建立面向主题的分析系统。
3 基于大数据分析决策系统的系统实现
基于大数据高校分析决策系统建设的总体思想是，不考虑数据源中数据的结构化问题，首先由高校管理方面的专家将所积累的管理知识整理，然后把这些知识转化成集计算机可以识别和存储的语言，从而形成知识库。其次，依靠知识库和专家知识从各种数据源中提取有用的数据，对数据进行收集、分类、抽取、清洗、转换后以新的组合形式储存到数据仓库中。在数据仓库中，经过分类、抽取、清洗、转换后的数据是以一系列元数据的形式存储的。最后，在数据仓库的基础上，可以建立通用的和面向主题的分析平台，从多维度进行统计分析，最终为不同层次决策者提供支持。因此，该基于大数据的高校决策分析系统的体系结构由数据源、数据收集、分类、清洗、转换、存储和管理、数据挖掘及知识发现、分析决策等部分组成（如图3）。
图3 基于大数据的高校决策分析系统的体系结构
3.1 数据源
数据源是指来学校内部或外部的各种结构化和非结构化的数据，这些数据可以是来自关系数据库，也可以是非关系数据库的数据，例如学籍信息、学工信息、人事管理信息、图书信息等为结构化数据。非结构化数据如教学视频、存档的试卷信息等，数据源是学校决策支持系统获取各类教学管理信息的来源，从数据源获取的数据经过分类、清洗转换、及相应的处理后存入数据仓库，作为分析决策系统的基础数据。
3.2 数据收集、抽取、分类、清洗、转换
该步骤主要完成数据的收集、抽取转换、清洗和监视等工作。目的是对来自不同数据源的信息进行整理，同时把有可能影响分析决策的数据转换成系统的数据格式；数据清洗是为了是保持数据的一致性，同时减少系统中的数据冗余；同时监视数据源上数据的是否发生变化，发现信息源的数据发生变化时，定期对数据源数据进行收集进行数据、抽取、分类、清洗、转换，以扩充和更新决策系统中的数据信息。
3.3 数据存储及数据管理
数据存储主要对数据仓库中的结构化和非结构化数据的存储和管理，数据仓库中存储了海量与高校决策有关的重要数据。支撑层中的知识库存放了大量的决策分析的共性知识、教育法规、学籍管理规定等；模型库存放决策分析的系统运行模型和处理模型，同时整个数据仓库的数据存储采用元数据管理，数据存储及管理主要负责数据仓库的数据同步、整合工作。
3.4 数据挖掘及知识发现
数据挖掘及价值发现主要采取机器学习、神经网络、知识处理等技术和传统统计学算法及计算智能（遗传算法、模糊集等）和数据库相结合的方法，从数据仓库的大数据中挖掘隐藏的规律，也就是说数据仓库中挖掘和发现知识，掌握大数据间存在的某种相互关联、提取面向主题的信息进行分析，为各种管理决策层决策提供有效的依据。
3.5 决策分析
决策层主要由面向通用的分析平台和面向主题的分析平台组成， 面向通用的分析平台是针对学校教学改革的推进，管理需求存在不稳定的特点，提供一些简单分析模型和常规的数据挖掘方法，可以为管理层提供快速决策的参考。针对相对稳定的学校战略决策需求，可以从数据仓库中抽取面向主题数据，从而建立数据集市，开发面向主题的决策平台。对于学校的各个管理层决策，可以利用这些通用分析和面向主题分析平台，从而进行多维度的综合分析，从而制定出学校的战略决策和日常的管理决策。
4 结束语
总之，高校基于大数据分析决策系统的建设是一项周期长、规模大、业务十分复杂的工程，由于数据量大、数据结构复杂、数据源分散以及涉及的对象众多，因此首先应该遵循循序渐进的原则，从某个的主题着手，比如分别在学籍管理、教学质量管理、实践创新管理等方面建立面向主题的分析平台，同时建立通用的分析平台，从而形成建设决策系统的开端，再全面进行决策系统的建设。高校基于大数据分析决策系统建设的核心是研制适合高校业务管理的数据挖掘算法，并在此基础上形成以高校教学和管理为主题的教学综合分析决策系统模型，最终建立可用的分析决策系统，为各类教学决策提供科学的依据，并为高校人才培养服务。
