[00251968]一种基于Hadoop集群的网络预测与调度方法
交易价格:
面议
所属行业:
其他电子信息
类型:
发明专利
技术成熟度:
正在研发
专利所属地:中国
专利号:CN201510767233.9
交易方式:
技术转让
技术转让
技术入股
联系人:
科小易
进入空间
所在地:福建厦门市
- 服务承诺
- 产权明晰
-
资料保密
对所交付的所有资料进行保密
- 如实描述
技术详细介绍
本发明提供一种基于Hadoop集群的网络预测与调度方法,通过分析Hadoop运行所产生的中间临时文件,从应用层角度预测网络流量;根据预测的网络流量信息,考虑Hadoop运行时网络流之间的相互依赖关系,以网络流所属Hadoop的作业(Hadoop程序)为单位,按照优先级的高低对网络流进行调度。本发明区别于现有的通常在网络层的预测,采用从应用层直接获得对网络需求,体现了预测的主动性和透明性;采用linux系统提供的实时监测机制,能够快速反映相关文件的变化,在第一时间获取有用信息,体现了快速、提前性的特点。
本发明提供一种基于Hadoop集群的网络预测与调度方法,通过分析Hadoop运行所产生的中间临时文件,从应用层角度预测网络流量;根据预测的网络流量信息,考虑Hadoop运行时网络流之间的相互依赖关系,以网络流所属Hadoop的作业(Hadoop程序)为单位,按照优先级的高低对网络流进行调度。本发明区别于现有的通常在网络层的预测,采用从应用层直接获得对网络需求,体现了预测的主动性和透明性;采用linux系统提供的实时监测机制,能够快速反映相关文件的变化,在第一时间获取有用信息,体现了快速、提前性的特点。