异构分布式数据资源中的网格文件访问

作者:胡若 刊名:计算机工程 上传者:刘宝涛[1]

【摘要】为对网格文件进行数据访问,提出一个带有标准服务器和协议的高性能存储系统——联众系统。采用集群环境中的数据管理方法,通过使用多个标准数据服务器访问多个站点,采用的技术包括Grid FTP以及OGSA Byte I/O界面等。实验结果证明,联众系统能够被用作真实网格环境中的并行文件系统,并获得较好的数据访问结果。

全文阅读

1概述近年来,高性能计算技术已从大而昂贵的超级计算机发展到计算机网络或工作站群。超级计算技术的这种发展趋势仍在继续,网格文件系统中大多数应用软件的一个重要特点就是其能处理极大数量的数据。而在这些系统中,I/O组件技术处理的数据比系统的其他组件大几个数量级,这使得I/O系统成为了一个较大瓶颈。一种能部分解决该问题的方法是使用并行I/O技术。本文旨在测试网格环境中并行文件系统的性能和功用。它基于一些标准数据服务器,能被用于集群或网格系统中。2网格存储网格系统中的很多应用软件都需要访问大量的计算机基础设施中的数据。对于这类应用软件,在网格系统中大量的数据管理工作往往着重于数据复制。这些文件副本是某个文件的多个复制品,通过在网格系统内传输这些文件副本可以提高数据访问效率。然而,在现有文献中所提供的所有数据复制方案都未能提供一个全局的文件系统,用于数据网格环境中的文件访问。为正在运行于不同管理域中的网格应用软件提供一个真正的全局文件系统,是网格计算技术面临的一个重要挑战。可以将网格文件系统定义为一个可读的分层资源名称空间,用于管理多个自主式网域之间进行传输的异类分散式数据资源。3联众的设计设计和构建并行文件系统联众的主要目的是提供一个带有标准服务器和协议(如NFS、FTP、GridFTP或WebServices)[1]的高性能存储系统,从而把存储系统整合在异类系统中,实现现有资源的重复利用和聚集,并实现对数据的并行访问。联众的结构如图1所示。这个图展示了联众如何用于集群环境中的数据管理,以及如何通过使用多个标准数据服务器(如GridFTP协议或OGSAByteI/O)使其用于访问多个站点。联众将使用不同协议的多个服务器间的文件数据剥离出来,使用不同大小的块作为剥离单元。客户端的处理器使用一个联众库来访问一个分布式分区。联众还提供了一个基于POSIX系统调用的接口。图1联众的结构建造这种并行文件系统有以下优点:(1)不需要在服务器端中做任何改变。所有的设计和联众操作都是在客户端中执行的。该特点使联众独立于所涉及的基础存储结构。(2)联众独立于在客户端及服务器中所使用的操作系统。所有的操作都是通过使用数据服务协议[2]来执行的。例如,如果将NFS作为服务系统时,使用RPC及NFS协议。(3)文件系统的构建更加简单,因为所有的操作都是在客户端中执行的。这种方法完全不同于在所有现有的并行文件系统中所使用的方法,系统需要使用各自的I/O服务器。(4)允许使用具有不同结构和操作系统的服务器,以便用在异类环境中。(5)系统配置简化,因为所使用的这些协议和服务器都是标准的协议和服务器并且为用户所熟知。(6)允许利用该数据服务器性能的全部机制,例如:块缓冲存储器,块预读存储器,名称缓冲存储器,动态地增加存储空间的可能性等。3.1联众对网格环境的适应性为使联众能够适用于网格环境,尽量使用标准的网格技术。使用这些标准技术可允许在绝大多数的网格计算环境[3]中很容易地调度该文件系统。因此,为联众设计了由该开放网格论坛所定义的这些服务。对于数据访问而言,已经使用了GridFTP协议,它已在GlobusToolkit工具包中执行。3.2GridFTPGridFTP[4]是由全球网格论坛推荐组织所定义的一种数据传输协议,能在网格系统中提供安全风险控制的和高性能的数据传输。GlobusToolkit工具包中提供了该协议最常用的执行部分。3.3OGSAByteI/O该ByteI/O接口(在UML中描述它)包括4项与POSIX相似的功能。需要特别注意的是,该接口隐含一个较少通话的通信语义,但

参考文献

引证文献

问答

我要提问