分布式环境下端到端的多路并行传输机制研究

作者:刘立明; 刊名:计算机技术与发展 上传者:何艳娇

【摘要】在分布式环境中,不同的管理域之间的节点由于受到访问控制机制的限制,导致端到端的数据传输无法直接进行,因此必须借助数据源节点和目的节点之间的节点进行中转.此外,在复杂的分布式环境中,数据传输的源端和目的端之间存在多条传输路径,需要考虑在端到端的数据传输过程中如何对多条传输路径进行均衡利用,以提高数据传输效率.为此,利用端到端的数据传输的特点,基于缓冲区、数据分片、多路并行传输等技术,设计了一种适应高性能计算环境中的多路并行数据传输机制,研究了可靠性保证策略.理论分析表明,多路并行传输机制可以有效解决分布式环境下的数据传输访问控制和传输效率等问题,尤其是对于较为复杂的分布式环境下进行的大数据传输,该机制充分利用了整个网络环境的传输带宽,同时解决了中间节点的数据落地问题,为端到端的数据传输提供了高效可靠的保障.

全文阅读

第 27卷 第 6期 2017年 6月 计 算 机 技 术 与 发 展 COMPUTER TECHNOLOGY AND DEVELOPMENT V01.27 No.6 June 2017 分布式环境下端到端的多路并行传输机制研究 刘 立 明 (国家气象信息 中心 高性能计算室,北京 100081) 摘 要:在分布式环境中,不同的管理域之间的节点由于受到访问控制机制的限制,导致端 到端的数据传输无法直接进 行 ,因此必须借助数据源节点和 目的节点之间的节点进行中转。此外 ,在复杂的分布式环境 中,数据传输的源端和 目的端 之间存在多条传输路径 ,需要考虑在端到端的数据传输过程 中如何对多条传输路径进行均衡利用 ,以提高数据传输效率。 为此,利用端到端的数据传输的特点,基于缓冲区、数据分片、多路并行传输等技术,设计了一种适应高性能计算环境中的 多路并行数据传输机制,研究了可靠性保证策略。理论分析表明,多路并行传输机制可以有效解决分布式环境下的数据 传输访问控制和传输效率等问题,尤其是对于较为复杂的分布式环境下进行的大数据传输 ,该机制充分利用了整个网络 环境的传输带宽,同时解决了中间节点的数据落地问题 ,为端到端的数据传输提供 了高效可靠的保障。 关键词:分布式环境 ;数据传输 ;传输效率 ;负载均衡 ;端到端 中图分类号:TP309 文献标识码:A 文章编号 :1673—629X(2017)06—00Ol一06 doi:10.3969/j.isan.1673—629X.2017.06.001 Research on End-to-end M ultipath Parallel Transfer M echanism in Distributed Environm ents LIU Li-ming (HPC Department,National Meteorological Information Centre,Beijing 100081,China) Abstract:In distributed environment,nodes in dierent management domains can’t u'ans~r data to each other directly because of restr c— tions of access control mechanism ,SO th at the end-to -end da ta trans~r has to rely on the mid nodes between the source and destination to transit.In addition,there are m ore 山an onetrans~r path betweenthe source and destinationin complex distr bu~d environm ents,and a way to utilize those transfer paths balan ced to improve the end-to-end da ta trans~r ei ciency needs tO be considered.According to the characteristics of end-to—end data trans~r,all eicient end-to-end multipath parallel tran sfer mechanism has been des

参考文献

引证文献

问答

我要提问