数字图书馆的评估研究
出处：论文网
时间：2008-01-04
【内容提要】文章总结了过去10年来的许多研究成果，从数字图书馆评估的基本问题、一般方法、主要内容和数据收集等方面进行了探讨。
【摘 要 题】实践研究
【关 键 词】数字图书馆/评估/系统评估/用户评估/评估内容/评估方法/数据收集
【 正 文】
数字图书馆建设是一个庞大的系统工程，建立和发展数字图书馆必须首先进行先进、可靠的工程设计。当数字图书馆建设进入实质性的设计方案选定和具体实施、执行阶段后，为了确保工程质量，必须进行及时、可信的中前期系统评估和用户评估。当数字图书馆建成或基本建成以后，仍然需要进行全面的后期评估。只有在数字图书馆建设的每个阶段都进行了有效的评估，才能最终保证工程建设的质量和水平。国内外的实践与研究表明，数字知识管理系统的工程设计和评估研究同样重要[1-2]。本文着重对数字图书馆评估研究的基本问题、一般方法、主要内容和数据收集等方面进行了探讨。
1 数字图书馆评估的基本问题
传统图书馆和现代信息检索系统、人-机交互系统、知识管理系统、知识仓库相比，数字图书馆的组成要素和结构与后一类的相同性更为明显，因为数字图书馆是一个大量应用现代计算机技术、网络通讯技术、多媒体数字技术的复杂人-机资源系统。数字图书馆评估不同于传统图书馆（包括自动化图书馆）评估，它以数字图书馆的定义、要素、结构为基础，对其主要指标、内容按照一定的方法从功能性和可用性角度进行全面地评价研究。Saracevic在《数字图书馆评估：关于概念的发展》一文中认为，评估应该满足某种要求，包括以下最基本的相关选择和决策[3]：
（1）评估体系的构建。即评估什么？数字图书馆的实际含义是什么？它包含的内容是什么？评估内容包含什么元素（成分、部分、程序）？
（2）评估标准的选择。即评估的目标、框架、观点和标准的选择。评估的标准是什么？选择评估标准的关键是什么？最后，选择某个标准有什么目的？
（3）相应的选择目标所反映的性能标准。即性能参数集中在哪一点？评估有什么尺度或特征？
（4）测度反映记录性能的选择标准。即使用假定标准专门测度什么？
（5）实际评估的方法。即用于测度的工具是什么？样本是什么？数据的收集使用什么程序？怎样分析数据？
只要我们对上述每一点都给予关注，我们就可以进一步开展数字图书馆的评估。遗憾的是，数字图书馆评估的这些基本问题，国内图书馆界至今没有进行过研究和实践。经过近10年的发展，国外数字图书馆的评估理论体系已经初具雏形，值得我们借鉴参考。
国外学者根据评估的规范性、约束性及其深度和广度，一般将数字图书馆评估分为正式评估（Formal Evaluation）和非正式评估（Informal Evaluation）。正式评估复杂、可靠，但却耗费太多人力、财力，让人望而生畏。非正式评估简单、有效但却容易使评估迷失方向，使人们产生数字图书馆认识的某些错误感觉和期望。为了数字图书馆的更好发展，必须根据数字图书馆建设的各个时期，选择其中一种或两者结合起来使用。
根据评估采用的方法不同，数字图书馆评估主要有系统评估（System Evaluation）和用户评估（User Evaluation）。目前，国外大多数数字图书馆工程主要采用用户评估，或将这两种评估方法同时并用但以用户评估为主的双重评估。此外，在数字图书馆的评估研究中还广泛采用其它一些方法，如：社会学方法（Sociological Approach）、经济学方法（Economic Ap proach）、政治学方法（Political pproach）、民族地理方法（Ethnographic Approach），但这些方法不是数字图书馆评估的主要方法。
除此之外，一些研究人员还专门进行了比较评估（Comparing Evaluation）和跨馆服务质量评估工具研究。[4-5]根据数字图书馆工程设计、实施、执行和验收的各个阶段，还可以分为前期评估、中期评估和后期评估。所有这些研究，对于数字图书馆评估理论的发展，指导数字图书馆建设实践，都有十分重要的意义。
2 数字图书馆评估的一般方法
尽管数字图书馆评估的方法有各种各样，但始终不能偏离系统和用户这两个一般性范畴。因为数字图书馆系统功能的实现和用户使用的满意程度，已经能够代表对数字图书馆评估的主流。数字图书馆是在传统图书馆基础上发展起来的复杂人—机系统，系统和用户是数字图书馆的两个最根本的构成要素。国外数字图书馆的评估研究，从方法角度看主要也集中在系统评估和用户评估这两个方面。只不过有的研究专门使用其中的一种，有的将这两种结合起来使用。
系统评估是设计人员或其相关技术人员根据数字图书馆工程中的设计目标方案、软硬件技术和规范标准对其功能进行的评估。其目的是检查（验）系统设计目标是否完成，硬件是否符合工程需要，软件性能怎样，以及系统的技术标准化程度。由于系统评估是一项专业性很强的功能评估，一般只能由从事数字图书馆工程设计、实施、执行和管理方面的专业人员来完成。此外，由于技术垄断需要，其系统核心设计技术的评估，一般不允许机构外的人员参加。
2002年11月，《数字图书馆杂志》发表了一篇题为《数字图书馆的交互性设计与评估》的文章，比较全面的反映了数字图书馆的系统评估研究[1]。作者以美国科学基金会（NSF）资助的一个GORW交互式数字图书馆工程作为研究对象，对GORW数字图书馆的开发目标（包括跨学科藏书、终身学习者资源、时钟循环访问、交互式学习目标和用于学习的信息），交互性及其GROW概念框架（包括互惠、反馈、直接、关联、同步、选择、沉浸、演示、流动、多维性和控制），GORW的各种交互性（包括GROW资源的交互性、GORW资源选择的交互性、GROW元数据的交互性描述、GROW界面的交互性）都进行了研究和评估，从这项评估研究中我们看到，一个有效的交互式数字图书馆本身是一个复杂的人—机系统，其交互性技术要求涉及到各种社会的行为、组织、管理联系。可见，在很多情况下，数字图书馆的系统评估不能回答技术之外的各种社会问题。然而，用户评估在很大程度上可以弥补系统评估的这种不足。
用户评估是系统设计者或用户根据数字图书馆的目标任务完成、行为模式和资源组织、发布对系统可用性进行的评估。其目的是检查（验）数字图书馆完成了哪些数字化任务，满足了用户的何种行为模式，以及知识信息资源的收集、再现、挖掘、组织、存储、管理和发布效果。任何一项数字图书馆工程建设都必须开展反复多次的用户评估 ，才能使数字图书馆建设满足用户的需要，因此它目前已成为探讨和实行数字图书馆评估的一种流行方式。当然，由于参加评估的用户在构成、组织形式上的不同，可用性评估结果及其权威性也完全不一样。
早在1989年，美国一个由101个会员组成的研究图书馆协会和51个州图书馆参加的咨询调查——“数字图书馆用户”（前期评估），帮助发起了具有历史意义的“美国回忆”（American Memory）数字图书馆试验计划（1990-1995）。1992-1993年，美国国会图书馆又组织完成了有44个学院、大学和公共图书馆参加的终端用户评估（后期评估），最终促成了现在仍在实施的“数字图书馆倡议”（DLI-1，1994-1998；DLI-2，1999-2003）[6]。1996年，VanHouse等人发表文章阐述了加州大学伯克利数字图书馆工程以用户为中心的设计方法。他们在对用户的各种需求进行反复评价、评估过程中，不断改进设计。2002年4月至6月，美国科学基金会（NSF）资助的国家科学数字图书馆（NSDL）用户评估工作组，花了整整3个月时间进行反复评估研究[7]。该工作组由那些对数字图书馆设计和评估感兴趣的志愿者组成，其任务就是从用户角度提出和回答各种问题。
综合采用两种方法但以用户评估为主进行数字图书馆评估的典型例子是美国科学基金会（NSF）资助的亚历山大数字图书馆（ADL）工程评估[8]。ADL评估组既进行系统设计，又进行用户评估。评估组的工作重点在用户使用，为此他们先后开发了3个不同的用户界面，并建立了相应的试验台进行用户评估。在系统评估层面上，一方面对系统和界面设计进行了大量中间发布，由包括加州大学、科罗拉多州大学研究人员在内的评估工作组进行评估，不断的将当前的Java基础界面和支持系统反馈给系统设计者；另一方面，他们又对设计、实施阶段进行了交互评估。这样，用户的功能性要求和实施修改设计的过程变成一个公式化的评估周期，不断的指导系统评估，了解用户的潜在使用。在用户评估层面上，ADL评估组一方面使用ADL用户和潜在用户反馈、恳求和分析的多种方法，包括联机调查、图形观察、目标用户组、界面设计内部评估、大学教室ADL使用分析，进行全面评估；另一方面，他们邀请外部用户评估专家，召开了3个与用户评估有关的会议，然后综合他们的评估意见和要求进行系统设计。ADL用户评估组提出的结果非常有用，它涉及下述相关问题：
（1）对于我们的用户，我们了解多少？
（2）对于评估和用户研究方法，我们了解什么？
（3）对ADL界面，我们了解哪些方面的内容？
（4）对于ADL的功能性和内容，我们了解什么？
这些问题看似简单，实际上却涉及到数字图书馆建设中的几个核心问题。
3 数字图书馆评估的主要内容
人们对数字图书馆的认识和定义有各种各样，因此对数字图书馆评估内容的认识和界定也各不相同。Saracevic将数字图书馆评估的结构或元素划分为21个大类50个小项[3]；周欣平提出一个数字图书馆评估的体系，包括馆藏资源的数量和质量、网络及数字化程度、多元化的信息管理和服务、全球范围内信息资源的获取和利用、提供远距离学习和教育之环境、馆员素质6个方面[9]；Hill等人则将数字图书馆评估的主要内容划分为馆藏、元数据、搜索、检索和用户工作空间、帮助支持、系统支持、子系统7大类38个小项[8]。
【摘 要 题】实践研究
【关 键 词】数字图书馆/评估/系统评估/用户评估/评估内容/评估方法/数据收集
【 正 文】
数字图书馆建设是一个庞大的系统工程，建立和发展数字图书馆必须首先进行先进、可靠的工程设计。当数字图书馆建设进入实质性的设计方案选定和具体实施、执行阶段后，为了确保工程质量，必须进行及时、可信的中前期系统评估和用户评估。当数字图书馆建成或基本建成以后，仍然需要进行全面的后期评估。只有在数字图书馆建设的每个阶段都进行了有效的评估，才能最终保证工程建设的质量和水平。国内外的实践与研究表明，数字知识管理系统的工程设计和评估研究同样重要[1-2]。本文着重对数字图书馆评估研究的基本问题、一般方法、主要内容和数据收集等方面进行了探讨。
1 数字图书馆评估的基本问题
传统图书馆和现代信息检索系统、人-机交互系统、知识管理系统、知识仓库相比，数字图书馆的组成要素和结构与后一类的相同性更为明显，因为数字图书馆是一个大量应用现代计算机技术、网络通讯技术、多媒体数字技术的复杂人-机资源系统。数字图书馆评估不同于传统图书馆（包括自动化图书馆）评估，它以数字图书馆的定义、要素、结构为基础，对其主要指标、内容按照一定的方法从功能性和可用性角度进行全面地评价研究。Saracevic在《数字图书馆评估：关于概念的发展》一文中认为，评估应该满足某种要求，包括以下最基本的相关选择和决策[3]：
（1）评估体系的构建。即评估什么？数字图书馆的实际含义是什么？它包含的内容是什么？评估内容包含什么元素（成分、部分、程序）？
（2）评估标准的选择。即评估的目标、框架、观点和标准的选择。评估的标准是什么？选择评估标准的关键是什么？最后，选择某个标准有什么目的？
（3）相应的选择目标所反映的性能标准。即性能参数集中在哪一点？评估有什么尺度或特征？
（4）测度反映记录性能的选择标准。即使用假定标准专门测度什么？
（5）实际评估的方法。即用于测度的工具是什么？样本是什么？数据的收集使用什么程序？怎样分析数据？
只要我们对上述每一点都给予关注，我们就可以进一步开展数字图书馆的评估。遗憾的是，数字图书馆评估的这些基本问题，国内图书馆界至今没有进行过研究和实践。经过近10年的发展，国外数字图书馆的评估理论体系已经初具雏形，值得我们借鉴参考。
国外学者根据评估的规范性、约束性及其深度和广度，一般将数字图书馆评估分为正式评估（Formal Evaluation）和非正式评估（Informal Evaluation）。正式评估复杂、可靠，但却耗费太多人力、财力，让人望而生畏。非正式评估简单、有效但却容易使评估迷失方向，使人们产生数字图书馆认识的某些错误感觉和期望。为了数字图书馆的更好发展，必须根据数字图书馆建设的各个时期，选择其中一种或两者结合起来使用。
根据评估采用的方法不同，数字图书馆评估主要有系统评估（System Evaluation）和用户评估（User Evaluation）。目前，国外大多数数字图书馆工程主要采用用户评估，或将这两种评估方法同时并用但以用户评估为主的双重评估。此外，在数字图书馆的评估研究中还广泛采用其它一些方法，如：社会学方法（Sociological Approach）、经济学方法（Economic Ap proach）、政治学方法（Political pproach）、民族地理方法（Ethnographic Approach），但这些方法不是数字图书馆评估的主要方法。
除此之外，一些研究人员还专门进行了比较评估（Comparing Evaluation）和跨馆服务质量评估工具研究。[4-5]根据数字图书馆工程设计、实施、执行和验收的各个阶段，还可以分为前期评估、中期评估和后期评估。所有这些研究，对于数字图书馆评估理论的发展，指导数字图书馆建设实践，都有十分重要的意义。
2 数字图书馆评估的一般方法
尽管数字图书馆评估的方法有各种各样，但始终不能偏离系统和用户这两个一般性范畴。因为数字图书馆系统功能的实现和用户使用的满意程度，已经能够代表对数字图书馆评估的主流。数字图书馆是在传统图书馆基础上发展起来的复杂人—机系统，系统和用户是数字图书馆的两个最根本的构成要素。国外数字图书馆的评估研究，从方法角度看主要也集中在系统评估和用户评估这两个方面。只不过有的研究专门使用其中的一种，有的将这两种结合起来使用。
系统评估是设计人员或其相关技术人员根据数字图书馆工程中的设计目标方案、软硬件技术和规范标准对其功能进行的评估。其目的是检查（验）系统设计目标是否完成，硬件是否符合工程需要，软件性能怎样，以及系统的技术标准化程度。由于系统评估是一项专业性很强的功能评估，一般只能由从事数字图书馆工程设计、实施、执行和管理方面的专业人员来完成。此外，由于技术垄断需要，其系统核心设计技术的评估，一般不允许机构外的人员参加。
2002年11月，《数字图书馆杂志》发表了一篇题为《数字图书馆的交互性设计与评估》的文章，比较全面的反映了数字图书馆的系统评估研究[1]。作者以美国科学基金会（NSF）资助的一个GORW交互式数字图书馆工程作为研究对象，对GORW数字图书馆的开发目标（包括跨学科藏书、终身学习者资源、时钟循环访问、交互式学习目标和用于学习的信息），交互性及其GROW概念框架（包括互惠、反馈、直接、关联、同步、选择、沉浸、演示、流动、多维性和控制），GORW的各种交互性（包括GROW资源的交互性、GORW资源选择的交互性、GROW元数据的交互性描述、GROW界面的交互性）都进行了研究和评估，从这项评估研究中我们看到，一个有效的交互式数字图书馆本身是一个复杂的人—机系统，其交互性技术要求涉及到各种社会的行为、组织、管理联系。可见，在很多情况下，数字图书馆的系统评估不能回答技术之外的各种社会问题。然而，用户评估在很大程度上可以弥补系统评估的这种不足。
用户评估是系统设计者或用户根据数字图书馆的目标任务完成、行为模式和资源组织、发布对系统可用性进行的评估。其目的是检查（验）数字图书馆完成了哪些数字化任务，满足了用户的何种行为模式，以及知识信息资源的收集、再现、挖掘、组织、存储、管理和发布效果。任何一项数字图书馆工程建设都必须开展反复多次的用户评估 ，才能使数字图书馆建设满足用户的需要，因此它目前已成为探讨和实行数字图书馆评估的一种流行方式。当然，由于参加评估的用户在构成、组织形式上的不同，可用性评估结果及其权威性也完全不一样。
早在1989年，美国一个由101个会员组成的研究图书馆协会和51个州图书馆参加的咨询调查——“数字图书馆用户”（前期评估），帮助发起了具有历史意义的“美国回忆”（American Memory）数字图书馆试验计划（1990-1995）。1992-1993年，美国国会图书馆又组织完成了有44个学院、大学和公共图书馆参加的终端用户评估（后期评估），最终促成了现在仍在实施的“数字图书馆倡议”（DLI-1，1994-1998；DLI-2，1999-2003）[6]。1996年，VanHouse等人发表文章阐述了加州大学伯克利数字图书馆工程以用户为中心的设计方法。他们在对用户的各种需求进行反复评价、评估过程中，不断改进设计。2002年4月至6月，美国科学基金会（NSF）资助的国家科学数字图书馆（NSDL）用户评估工作组，花了整整3个月时间进行反复评估研究[7]。该工作组由那些对数字图书馆设计和评估感兴趣的志愿者组成，其任务就是从用户角度提出和回答各种问题。
综合采用两种方法但以用户评估为主进行数字图书馆评估的典型例子是美国科学基金会（NSF）资助的亚历山大数字图书馆（ADL）工程评估[8]。ADL评估组既进行系统设计，又进行用户评估。评估组的工作重点在用户使用，为此他们先后开发了3个不同的用户界面，并建立了相应的试验台进行用户评估。在系统评估层面上，一方面对系统和界面设计进行了大量中间发布，由包括加州大学、科罗拉多州大学研究人员在内的评估工作组进行评估，不断的将当前的Java基础界面和支持系统反馈给系统设计者；另一方面，他们又对设计、实施阶段进行了交互评估。这样，用户的功能性要求和实施修改设计的过程变成一个公式化的评估周期，不断的指导系统评估，了解用户的潜在使用。在用户评估层面上，ADL评估组一方面使用ADL用户和潜在用户反馈、恳求和分析的多种方法，包括联机调查、图形观察、目标用户组、界面设计内部评估、大学教室ADL使用分析，进行全面评估；另一方面，他们邀请外部用户评估专家，召开了3个与用户评估有关的会议，然后综合他们的评估意见和要求进行系统设计。ADL用户评估组提出的结果非常有用，它涉及下述相关问题：
（1）对于我们的用户，我们了解多少？
（2）对于评估和用户研究方法，我们了解什么？
（3）对ADL界面，我们了解哪些方面的内容？
（4）对于ADL的功能性和内容，我们了解什么？
这些问题看似简单，实际上却涉及到数字图书馆建设中的几个核心问题。
3 数字图书馆评估的主要内容
人们对数字图书馆的认识和定义有各种各样，因此对数字图书馆评估内容的认识和界定也各不相同。Saracevic将数字图书馆评估的结构或元素划分为21个大类50个小项[3]；周欣平提出一个数字图书馆评估的体系，包括馆藏资源的数量和质量、网络及数字化程度、多元化的信息管理和服务、全球范围内信息资源的获取和利用、提供远距离学习和教育之环境、馆员素质6个方面[9]；Hill等人则将数字图书馆评估的主要内容划分为馆藏、元数据、搜索、检索和用户工作空间、帮助支持、系统支持、子系统7大类38个小项[8]。
