网格技术的发展与数字图书馆建设
出处：论文网
时间：2008-01-04
【内容提要】网格是近年来兴起的一种前沿信息技术。本文分析了网格技术的有关内容和特点，介绍了网格技术研究的进展，论述了网格技术在数字图书馆建设中的应用以及一些相关的问题。
【摘 要 题】数字图书馆论坛
【关 键 词】网格技术/因特网/数字图书馆
1 网格技术的特点及其意义
网格(Grid)是近年来兴起的一种前沿信息技术，是互联网信息技术发展的新趋势。它的思想来源于电力网格，目的是将计算能力和信息资源象电力网一样通过网络形式方便地传送到用户中。网格是高性能计算机、数据资源、因特网三种技术的有机组合和发展，它把分布在各地的各种计算机连接起来，进行资源共享。美国网格项目的负责人之一伊安·福斯特在他所主编的题为《网格：21世纪信息技术基础设施的蓝图》一书认为：“网格就是构筑在互联网上的一组新兴技术。它将高速互联网、高性能计算机、大型数据库、传感器、远程设备等融为一体，为科技人员和普通用户提供更多的资源、功能和交互性。互联网主要为人们提供电子邮件、网页浏览等通信功能，而网格的功能则更多和更强，能让人们透明地使用计算、存储等其他资源。”因此，网格是一个一致、开放、标准的计算环境的信息基础设施，支持聚合地理上广泛分布的高性能计算资源、大容量数据和信息存储资源、软件和应用系统、高速测试和获取系统、以及人力等各种资源的合作问题求解系统的构造。
网格的根本特征是资源共享。它把整个网络整合成一台巨大的超级虚拟计算机，实现各种资源的全面共享。目前因特网上各种信息资源由于分散在不同的地方，要进行资源共享十分困难，并且利用效率比较低。网格则可以实现互联网上所有资源包括硬软件资源、计算资源、存储资源、通信资源、信息资源、知识资源等的全面连通，通过网格系统进行利用，使网络信息资源能充分利用，从而发挥网络信息资源的价值。
网格是因特网应用的新发展。有人把网格看成是未来的互联网技术，是继因特网之后的第三次互联网浪潮，是“下一代因特网”、“新一代Web”等。因特网实现了计算机硬件、网页等的联想，而网格的性能比因特网具有更强的功能：首先，网格比因特网具有更大的带宽，欧美的网格计划都使用更高速度的主干网。第二，网格上将有更多高性能计算机，它的计算速度、数据处理速度可以大幅度提高。第三，网格的体系结构将比因特网更能有效地利用网络信息资源。网格采用广域缓存技术，能够自动把用户最需要的信息放在离用户最近的服务器上。第四，网格将促进更多、更大规模的网络社区的出现，这些相互联结的社区最终构成一个庞大的网格社区。
网格将带来一场互联网的革命。互联网的作用是将各种计算机连结起来，而网格是将各种信息资源连结起来。互联网实现了计算机硬件的连通，Web实现了网页的连通，而网格试图实现互联网上所有资源的全面连通，包括计算资源、存储资源、通信资源、软件资源、信息资源、知识资源等。网格的应用将会遍及各个领域，从而给各行各业带来巨大的效益。正如IBM深度计算研究所所长比尔·普里布兰所说，网格和高性能计算机等信息技术的根本目的就是辅佐人类实现人与机器共生，从而解放人的大脑，提高社会的生产力。有人认为，美国70年代对因特网的研究导致了今天网络经济的繁荣，而现在对网格的研究可与当年的因特网研究相提并论，可以预料10年后的网格将如同今天的因特网一样，普及到国民经济和社会的各个领域，从而起到重大的作用。
网格将成为信息产业的新热点，从而带来许多机会和巨大的经济效益。据美国《福布斯》杂志的预测，网格技术将在2005年达到高峰。如果网格技术能按预期的17%年增长率持续发展的话，那么，在2020年将会形成一个年产值20万亿美元的大产业，将对世界社会经济产生巨大的影响。
2 网格技术的兴起和发展
网格技术是现代信息技术发展的必然产物。现代社会产生大量的数据和信息，而利用这些数据需要更大的计算能力，许多领域的计算和资源共享问题促使要利用分布在各地的计算机和信息资源，只有通过高速网络连接起来，才能共同完成有关的任务。网格可以连接广域范围内不同标准的异构“孤岛”，形成庞大的计算和信息共享体系。由于网格是因特网进一步的发展，因此它一经提出就受到世界各国的高度重视。
美国、欧洲、日本等国家都启动了大型网格研究计划。美国政府用于网格技术的基础研究经费则高达5亿美元。目前美国正规划实施一个宏大的网格计划“全球信息网格(Global Information Grid)”，预计在2020年完成。美国国防部和欧洲能源机构等在三年前先后采用了网格技术，并得到了产业界的大力支持。英国政府已投资1亿英镑用来研制“英国国家网格(UK National Grid)”，将英国主要大学的超级计算机利用网格技术和高速宽带连接起来，并计划将这一系统面向企业用户开放。日本的NTT Data计划进行一项网格计算试验，将有包括家庭、企业和学术机构的100万台计算机相联，其总处理能力将比现有的最快的超级计算机还要快5倍。许多信息产业界的企业也相继实施网格研究开发计划，如IBM公司正在研究一种能被多家科研单位和众多用户同时使用的超级计算机网格。2002年5月，IBM与一家名为Butterfly.net的公司合作开发网络视频游戏平台——“蝴蝶网格(Butterfly Grid)”，使用了多台通过光纤连接的Linux服务器，采用分布式人工智能技术，支持无限用户数量以及数以百万用户同时在线的视频游戏。另外，Butterfly.net还计划推出相应的开发工具，供网格计算技术的开发商使用。蝴蝶网格的技术核心是网格计算，是真正意义上的第一个商用网格系统。2002年6月，Sun公司推出网格引擎企业版软件，该软件提供了更高水平的控制能力和灵活性能拥有策略管理功能，允许多个小组根据公司确定的目标共享可用的计算资源，通过该软件Sun扩展了它对开放企业网格架构的理念，有关网格计算的开放方法排除了在异种环境中利用网格技术的障碍，继续强化了它在网格计算领域的领导地位，从而把网格计算技术推向了一个新的发展阶段。Microsoft也决定支持网格组织Globus企业建造和管理网格的计划。Microsoft的研究部门还参与了各项分布式计算研究项目，包括容错远程文件系统，以及建设分布式系统等。Compaq与加拿大Platform Computing结盟，为用户提供完整的、集成的、开放的网络解决方案。Oracle在其最新版本的应用服务器中推出了全新的Oracle Portal技术，是面向信息网格的新一代技术和解决方案。
网格技术在我国也开始引起重视，863计划已经启动了中国网格技术的研究，着手建立我国的国家高性能计算环境和国家信息网格，目前正在开发网格计算协议(Grid Computing Protocol)，将应用于网络资源的连接中。中科院计算所正在进行“织女星网格”研究项目，目标是达到大规模的数据处理能力、高性能计算能力以及具备资源共享和提高资源利用率的能力。织女星网格支持多种应用类型、多种应用模式、多种服务器和客户端设备，并兼容多种现有技术。中科院计算所目前正联合国内重点高校开发网格操作系统，将分布在全国的国家高性能计算中心的超级计算机已经初步实现统一的资源目录管理。预料不久的将来，我国的信息网格将会初步建成并发挥巨大的作用。
3 网格技术在数字图书馆建设中的应用
数字图书馆是综合运用多方面高新技术支持的数字信息资源系统，将分散于不同载体、不同地域的数字化信息资源以网络化方式互相联结起来，实现资源共享。数字图书馆是计算机可处理的、有序组织的信息集合，是存储数字信息的仓储。数字图书馆通过数字技术进行信息资源的组织和管理，能够储存海量信息，用户可以通过互联网络高效方便地进行查询、检索服务。数字图书馆具有信息资源数字化、信息组织非线性化、结构复杂化、信息传递网络化、服务方式多样化等特点。而网格是高性能计算机、数据源、因特网三种技术的有机组合，它具有高性能、一体化、知识生产、资源共享、异地协同工作、支持开放标准、功能动态变化等优点，为数字图书馆建设提供了有利的条件。
(1)网格为数字图书馆构造统一的平台。网格技术的巨大优势是比较明显地降低建立网站和提供网络服务的成本。网格的许多平台和资源都是共享的，它将分布在各地的计算机、数据、信息、知识等组织成一个逻辑整体，此基础上运行各自的应用网格，为数字图书馆提供各种一体化信息服务的信息基础设施。在信息网格中，资源被统一管理和使用，用户可以通过网格操作系统透明地使用整个网络资源。网格利用现有的网络基础设施为用户提供一体化的智能信息平台，创建一种基于因特网的新一代信息平台和软件基础设施。在这个平台上，信息处理是分布式、协作和智能化的，用户可以通过单一入口访问所有信息，而不是像目前的因特网那样，用户需要自己在成千上万的网站中去寻找合适的信息。
(2)网格有利于数字图书馆的信息集成。数字图书馆建设是一个庞大的信息工程，涉及到许多方面，只有协同工作，才能保证正常地运转。网格将分布在不同地理位置的资源通过高速的互联网进行资源集成，从而提供一种高性能计算、管理及服务的资源能力。在分布式的异构环境中，网格技术能够精确定位所需的数据集，并为后续处理提供支持。人们利用这些资源就像用电源一样，不必计较这些资源的来源和负载情况。网格计算可以合理而有效地将远程资源高效地组织起来，形成网络虚拟计算机，形成超强的能力。网格已经发展成为连接和统一各类远程异构资源的一种重要的途径。
(3)网格有利于实现数字图书馆的资源共享。网格把整个因特网整合为一个巨大的超级计算机，实现网上所有资源的全面连通，能消除信息孤岛，实现计算机资源、存储资源、数据资源、信息资源、知识资源等多种资源的全面共享。网格提供单一的系统映像，具有透明性、可靠性、负载平衡等功能。网格支持对异构数据资源的访问，为用户提供统一的访问接口，选择适当的访问协议来实现用户提出的数据访问请求。网格与目前的计算机网络不同，网格能实现应用层面的连通，它主要关注的是如何消除信息孤岛，实现信息资源的智能共享。网格技术的进一步充分应用，能够极大地提高数字图书馆资源的利用效率。
【摘 要 题】数字图书馆论坛
【关 键 词】网格技术/因特网/数字图书馆
1 网格技术的特点及其意义
网格(Grid)是近年来兴起的一种前沿信息技术，是互联网信息技术发展的新趋势。它的思想来源于电力网格，目的是将计算能力和信息资源象电力网一样通过网络形式方便地传送到用户中。网格是高性能计算机、数据资源、因特网三种技术的有机组合和发展，它把分布在各地的各种计算机连接起来，进行资源共享。美国网格项目的负责人之一伊安·福斯特在他所主编的题为《网格：21世纪信息技术基础设施的蓝图》一书认为：“网格就是构筑在互联网上的一组新兴技术。它将高速互联网、高性能计算机、大型数据库、传感器、远程设备等融为一体，为科技人员和普通用户提供更多的资源、功能和交互性。互联网主要为人们提供电子邮件、网页浏览等通信功能，而网格的功能则更多和更强，能让人们透明地使用计算、存储等其他资源。”因此，网格是一个一致、开放、标准的计算环境的信息基础设施，支持聚合地理上广泛分布的高性能计算资源、大容量数据和信息存储资源、软件和应用系统、高速测试和获取系统、以及人力等各种资源的合作问题求解系统的构造。
网格的根本特征是资源共享。它把整个网络整合成一台巨大的超级虚拟计算机，实现各种资源的全面共享。目前因特网上各种信息资源由于分散在不同的地方，要进行资源共享十分困难，并且利用效率比较低。网格则可以实现互联网上所有资源包括硬软件资源、计算资源、存储资源、通信资源、信息资源、知识资源等的全面连通，通过网格系统进行利用，使网络信息资源能充分利用，从而发挥网络信息资源的价值。
网格是因特网应用的新发展。有人把网格看成是未来的互联网技术，是继因特网之后的第三次互联网浪潮，是“下一代因特网”、“新一代Web”等。因特网实现了计算机硬件、网页等的联想，而网格的性能比因特网具有更强的功能：首先，网格比因特网具有更大的带宽，欧美的网格计划都使用更高速度的主干网。第二，网格上将有更多高性能计算机，它的计算速度、数据处理速度可以大幅度提高。第三，网格的体系结构将比因特网更能有效地利用网络信息资源。网格采用广域缓存技术，能够自动把用户最需要的信息放在离用户最近的服务器上。第四，网格将促进更多、更大规模的网络社区的出现，这些相互联结的社区最终构成一个庞大的网格社区。
网格将带来一场互联网的革命。互联网的作用是将各种计算机连结起来，而网格是将各种信息资源连结起来。互联网实现了计算机硬件的连通，Web实现了网页的连通，而网格试图实现互联网上所有资源的全面连通，包括计算资源、存储资源、通信资源、软件资源、信息资源、知识资源等。网格的应用将会遍及各个领域，从而给各行各业带来巨大的效益。正如IBM深度计算研究所所长比尔·普里布兰所说，网格和高性能计算机等信息技术的根本目的就是辅佐人类实现人与机器共生，从而解放人的大脑，提高社会的生产力。有人认为，美国70年代对因特网的研究导致了今天网络经济的繁荣，而现在对网格的研究可与当年的因特网研究相提并论，可以预料10年后的网格将如同今天的因特网一样，普及到国民经济和社会的各个领域，从而起到重大的作用。
网格将成为信息产业的新热点，从而带来许多机会和巨大的经济效益。据美国《福布斯》杂志的预测，网格技术将在2005年达到高峰。如果网格技术能按预期的17%年增长率持续发展的话，那么，在2020年将会形成一个年产值20万亿美元的大产业，将对世界社会经济产生巨大的影响。
2 网格技术的兴起和发展
网格技术是现代信息技术发展的必然产物。现代社会产生大量的数据和信息，而利用这些数据需要更大的计算能力，许多领域的计算和资源共享问题促使要利用分布在各地的计算机和信息资源，只有通过高速网络连接起来，才能共同完成有关的任务。网格可以连接广域范围内不同标准的异构“孤岛”，形成庞大的计算和信息共享体系。由于网格是因特网进一步的发展，因此它一经提出就受到世界各国的高度重视。
美国、欧洲、日本等国家都启动了大型网格研究计划。美国政府用于网格技术的基础研究经费则高达5亿美元。目前美国正规划实施一个宏大的网格计划“全球信息网格(Global Information Grid)”，预计在2020年完成。美国国防部和欧洲能源机构等在三年前先后采用了网格技术，并得到了产业界的大力支持。英国政府已投资1亿英镑用来研制“英国国家网格(UK National Grid)”，将英国主要大学的超级计算机利用网格技术和高速宽带连接起来，并计划将这一系统面向企业用户开放。日本的NTT Data计划进行一项网格计算试验，将有包括家庭、企业和学术机构的100万台计算机相联，其总处理能力将比现有的最快的超级计算机还要快5倍。许多信息产业界的企业也相继实施网格研究开发计划，如IBM公司正在研究一种能被多家科研单位和众多用户同时使用的超级计算机网格。2002年5月，IBM与一家名为Butterfly.net的公司合作开发网络视频游戏平台——“蝴蝶网格(Butterfly Grid)”，使用了多台通过光纤连接的Linux服务器，采用分布式人工智能技术，支持无限用户数量以及数以百万用户同时在线的视频游戏。另外，Butterfly.net还计划推出相应的开发工具，供网格计算技术的开发商使用。蝴蝶网格的技术核心是网格计算，是真正意义上的第一个商用网格系统。2002年6月，Sun公司推出网格引擎企业版软件，该软件提供了更高水平的控制能力和灵活性能拥有策略管理功能，允许多个小组根据公司确定的目标共享可用的计算资源，通过该软件Sun扩展了它对开放企业网格架构的理念，有关网格计算的开放方法排除了在异种环境中利用网格技术的障碍，继续强化了它在网格计算领域的领导地位，从而把网格计算技术推向了一个新的发展阶段。Microsoft也决定支持网格组织Globus企业建造和管理网格的计划。Microsoft的研究部门还参与了各项分布式计算研究项目，包括容错远程文件系统，以及建设分布式系统等。Compaq与加拿大Platform Computing结盟，为用户提供完整的、集成的、开放的网络解决方案。Oracle在其最新版本的应用服务器中推出了全新的Oracle Portal技术，是面向信息网格的新一代技术和解决方案。
网格技术在我国也开始引起重视，863计划已经启动了中国网格技术的研究，着手建立我国的国家高性能计算环境和国家信息网格，目前正在开发网格计算协议(Grid Computing Protocol)，将应用于网络资源的连接中。中科院计算所正在进行“织女星网格”研究项目，目标是达到大规模的数据处理能力、高性能计算能力以及具备资源共享和提高资源利用率的能力。织女星网格支持多种应用类型、多种应用模式、多种服务器和客户端设备，并兼容多种现有技术。中科院计算所目前正联合国内重点高校开发网格操作系统，将分布在全国的国家高性能计算中心的超级计算机已经初步实现统一的资源目录管理。预料不久的将来，我国的信息网格将会初步建成并发挥巨大的作用。
3 网格技术在数字图书馆建设中的应用
数字图书馆是综合运用多方面高新技术支持的数字信息资源系统，将分散于不同载体、不同地域的数字化信息资源以网络化方式互相联结起来，实现资源共享。数字图书馆是计算机可处理的、有序组织的信息集合，是存储数字信息的仓储。数字图书馆通过数字技术进行信息资源的组织和管理，能够储存海量信息，用户可以通过互联网络高效方便地进行查询、检索服务。数字图书馆具有信息资源数字化、信息组织非线性化、结构复杂化、信息传递网络化、服务方式多样化等特点。而网格是高性能计算机、数据源、因特网三种技术的有机组合，它具有高性能、一体化、知识生产、资源共享、异地协同工作、支持开放标准、功能动态变化等优点，为数字图书馆建设提供了有利的条件。
(1)网格为数字图书馆构造统一的平台。网格技术的巨大优势是比较明显地降低建立网站和提供网络服务的成本。网格的许多平台和资源都是共享的，它将分布在各地的计算机、数据、信息、知识等组织成一个逻辑整体，此基础上运行各自的应用网格，为数字图书馆提供各种一体化信息服务的信息基础设施。在信息网格中，资源被统一管理和使用，用户可以通过网格操作系统透明地使用整个网络资源。网格利用现有的网络基础设施为用户提供一体化的智能信息平台，创建一种基于因特网的新一代信息平台和软件基础设施。在这个平台上，信息处理是分布式、协作和智能化的，用户可以通过单一入口访问所有信息，而不是像目前的因特网那样，用户需要自己在成千上万的网站中去寻找合适的信息。
(2)网格有利于数字图书馆的信息集成。数字图书馆建设是一个庞大的信息工程，涉及到许多方面，只有协同工作，才能保证正常地运转。网格将分布在不同地理位置的资源通过高速的互联网进行资源集成，从而提供一种高性能计算、管理及服务的资源能力。在分布式的异构环境中，网格技术能够精确定位所需的数据集，并为后续处理提供支持。人们利用这些资源就像用电源一样，不必计较这些资源的来源和负载情况。网格计算可以合理而有效地将远程资源高效地组织起来，形成网络虚拟计算机，形成超强的能力。网格已经发展成为连接和统一各类远程异构资源的一种重要的途径。
(3)网格有利于实现数字图书馆的资源共享。网格把整个因特网整合为一个巨大的超级计算机，实现网上所有资源的全面连通，能消除信息孤岛，实现计算机资源、存储资源、数据资源、信息资源、知识资源等多种资源的全面共享。网格提供单一的系统映像，具有透明性、可靠性、负载平衡等功能。网格支持对异构数据资源的访问，为用户提供统一的访问接口，选择适当的访问协议来实现用户提出的数据访问请求。网格与目前的计算机网络不同，网格能实现应用层面的连通，它主要关注的是如何消除信息孤岛，实现信息资源的智能共享。网格技术的进一步充分应用，能够极大地提高数字图书馆资源的利用效率。
