<div id="5pdmo"></div>
    <center id="5pdmo"></center>
      <wbr id="5pdmo"><legend id="5pdmo"></legend></wbr><dd id="5pdmo"><address id="5pdmo"></address></dd>
          <dd id="5pdmo"><address id="5pdmo"><div id="5pdmo"></div></address></dd>
              <nav id="5pdmo"><table id="5pdmo"></table></nav>
              <nav id="5pdmo"><optgroup id="5pdmo"></optgroup></nav>

              基于智能分析的批量任务计算系统的制作方法

              文档序号:29869955发布日期:2022-04-30 18:18来源:国知局
              基于智能分析的批量任务计算系统的制作方法

              1.本发明属于计算系统领域,具体涉及基于智能分析的批量任务计算系统。


              背景技术:

              2.随着计算机技术的不断发展,在众多的互联网项目中,批量处理任务的功能及需求随处可见,通过批量处理任务,将给日常的工作带来极大的便利和提高效率。
              3.目前,专利号为cn 201910598614.7的发明专利公开了一种批量任务编排方法,包括:获取处理批量任务的资源使用信息;根据资源使用信息及预设的并发度评估模型生成批量任务的最优并发度;根据最优并发度、批量任务的历史处理信息及预设的编排评估模型对批量任务进行编排。其采用的是通过场景分析,进而实现科学作业任务编排,但该计算系统不能根据内存占用情况创建合适数量的线程数,无法最大化程序的运行速度,且不具备智能分析的功能,不能根据系统运行的情况,合适分派同时运行的任务处理,容易造成系统卡顿,影响批量任务的正常运行。
              4.因此,针对上述无法最大化程序的运行速度,且不具备智能分析的功能的问题,亟需得到解决,以改善计算系统的使用场景。


              技术实现要素:

              5.(1)要解决的技术问题针对现有技术的不足,本发明的目的在于提供基于智能分析的批量任务计算系统,该系统旨在解决现有技术下不能根据内存占用情况创建合适数量的线程数,无法最大化程序的运行速度,且不具备智能分析的功能,不能根据系统运行的情况,合适分派同时运行的任务处理,容易造成系统卡顿,影响批量任务的正常运行的技术问题。
              6.(2)技术方案为了解决上述技术问题,本发明提供了这样基于智能分析的批量任务计算系统,该系统包括任务获取???、存储???、任务排序???、任务分配???、任务计算??楹椭悄芊治瞿??;其中,所述任务获取??榛袢∨咳挝竦呐渲眯畔?,得到批量任务列表;所述存储???,所述存储??槟诎谢捍娴ピ图剖钡ピ?,所述存储??榻挝窕袢∧?榛袢〉呐渲眯畔⒃荽嬖诨捍娴ピ?,然后通过计时单元,定时清除缓存单元内的缓存数据,从而释放缓存单元内的缓存空间;任务排序??槎匀挝窕袢∧?榈娜挝窠信判?,并生成任务排序表,任务排序??槟谠ぷ坝術bdt排序模型,gbdt排序模型的算法步骤为:输入(,),t,l,其中为样本,为分类标签,初始化,为标准值,计算响应,i=1,
              2,

              ,n,为损失函数,然后学习第t棵树,=arg,找步长= arg,为模型参数的共轭复数,为模型参数,为预测值,为步长,满足条件公式后,更新模型:,为分类学习器的输出值,输出;所述任务分配??槟谠ぷ坝械鞫人惴?,所述调度算法根据任务排序??榈娜挝衽判虮?,对任务排序表进行分割,按顺序分别生成子表1、子表2、

              、子表z,计算子表1中第一个任务的运行时间,并将第一个任务加入运行表1中第一个位置,然后计算子表1中第一个任务的运行时间,用与进行比较,若<,则将第二个任务插入第一个任务的前端,若≥,则将第二个任务放在第一个任务的后端,同理完成子表1中所有任务位置的调整,并生成运行表1,同理生成运行表2、

              、运行表z,将运行表1、运行表2、

              、运行表z中的任务依次加入集中至一处并生成新的批量任务列表;所述任务计算??榇唇ǜ鱿叱?,,通过设置正确个数的线程来最大化程序的运行速度;所述智能分析??槟谠ぷ坝蟹治龉嬖?,所述任务分配??樯傻男碌呐咳挝窳斜?,建立任务暂运行队列,首先往任务暂运行队列中加入新的批量任务列表中的第一个任务,然后往任务暂运行队列中加入第二个任务,分析第一个任务和第二个任务的cpu占用率,若cpu占用率≥50%,则将第二个任务踢出任务暂运行队列,此时任务暂运行队列中仅有第一个任务并生成任务运行队列,若cpu占用率<50%,则将第二个任务保留,此时任务暂运行队列中包含第一个任务和第二个任务,然后往任务暂运行队列中加入第三个任务,分析第一个任务、第二个任务和第三个任务的cpu占用率,若cpu占用率≥50%,则将第三个任务踢出任务暂运行队列,此时任务暂运行队列中包含第一个任务和第二个任务并生成任务运行队列,若cpu占用率<50%,则将第三个任务保留,此时任务暂运行队列中包含第一个任务、第二个任务和第三个任务,以此类推,生成最终的生成任务运行队列。
              7.使用本技术方案的系统时,任务获取??榛袢∨咳挝竦呐渲眯畔?,得到批量任务列表,任务排序??槎匀挝窕袢∧?榈娜挝窠信判?,并生成任务排序表, gbdt排序模型的算法步骤为:输入(,),t,l,初始化,计算响应,i=1,2,

              ,n,然后学习第t棵树,=arg,找步长= arg,满足条件公式后,更新模型:,输出;调度算法根据任务排序??榈娜挝衽判虮?,对任务排序表进行分割,按顺序分别生成子表1、子表2、

              、子表z,计算子表1中第一个任务的运行时间,并将第一个任务加入运行表1中第一个位置,然后计算子表1中第一个任务的运行时间,用与
              进行比较,若<,则将第二个任务插入第一个任务的前端,若≥,则将第二个任务放在第一个任务的后端,同理完成子表1中所有任务位置的调整,并生成运行表1,同理生成运行表2、

              、运行表z,将运行表1、运行表2、

              、运行表z中的任务依次加入集中至一处并生成新的批量任务列表;任务计算??榇唇ǜ鱿叱?,,通过设置正确个数的线程来最大化程序的运行速度;智能分析??槟谠ぷ坝蟹治龉嬖?,所述任务分配??樯傻男碌呐咳挝窳斜?,建立任务暂运行队列,首先往任务暂运行队列中加入新的批量任务列表中的第一个任务,然后往任务暂运行队列中加入第二个任务,分析第一个任务和第二个任务的cpu占用率,若cpu占用率≥50%,则将第二个任务踢出任务暂运行队列,此时任务暂运行队列中仅有第一个任务并生成任务运行队列,若cpu占用率<50%,则将第二个任务保留,此时任务暂运行队列中包含第一个任务和第二个任务,然后往任务暂运行队列中加入第三个任务,分析第一个任务、第二个任务和第三个任务的cpu占用率,若cpu占用率≥50%,则将第三个任务踢出任务暂运行队列,此时任务暂运行队列中包含第一个任务和第二个任务并生成任务运行队列,若cpu占用率<50%,则将第三个任务保留,此时任务暂运行队列中包含第一个任务、第二个任务和第三个任务,以此类推,生成最终的生成任务运行队列,同时存储??榻挝窕袢∧?榛袢〉呐渲眯畔⒃荽嬖诨捍娴ピ?,然后通过计时单元,定时清除缓存单元内的缓存数据,从而释放缓存单元内的缓存空间。
              8.优选地,所述任务获取??榈呐渲眯畔ㄈ挝癖晔?、任务类型以及任务参数。
              9.优选地,所述表示l对f在处的负偏导,f为模型初始值,l为均方误差,=arg表示第t棵树的学习过程,第t棵树拟合的是给出的负偏导,t为cart的数目。
              10.优选地,所述任务排序??橹刑跫轿?。
              11.优选地,所述任务计算??橹形罴严叱淌?。
              12.优选地,所述任务分配??橹凶颖?、子表2、

              、子表z中的任务个数为100个。
              13.优选地,所述计时单元的具体流程为:设定计时单元的工作周期为g分钟,在到达g分钟后,筛选出缓存单元内的已完成的任务,然后清除与已完成任务相对应的缓存数据。
              14.(3)有益效果与现有技术相比,本发明的有益效果在于:本发明的系统利用任务计算???,可以设置正确个数的线程来最大化程序的运行速度,通过任务排序??槟谠ぷ暗膅bdt排序模型,可以对批量任务进行排序,且通过任务分配???,可以将批量任务按照运行时间重新进行排列,且通过智能分析???,使系统具备智能分析的功能,便于根据系统的运行情况,分配每次运行的任务数量,最大化提高系统的利用率,且不会造成系统的卡顿,保证批量任务以最优最快的方式正常运行。
              附图说明
              15.图1为本发明系统一种具体实施方式的整体框架结构示意图;图2为本发明系统一种具体实施方式中调度算法的工作流程图;图3为本发明系统一种具体实施方式中gbdt排序模型的工作流程图。
              具体实施方式
              16.实施例1本具体实施方式是基于智能分析的批量任务计算系统,其整体框架结构示意图如图1所示,其调度算法的工作流程图如图2所示,其gbdt排序模型的工作流程图如图3所示,该系统包括任务获取???、存储???、任务排序???、任务分配???、任务计算??楹椭悄芊治瞿??;任务获取??榛袢∨咳挝竦呐渲眯畔?,得到批量任务列表;存储???,存储??槟诎谢捍娴ピ图剖钡ピ?,存储??榻挝窕袢∧?榛袢〉呐渲眯畔⒃荽嬖诨捍娴ピ?,然后通过计时单元,定时清除缓存单元内的缓存数据,从而释放缓存单元内的缓存空间;所述任务排序??槎匀挝窕袢∧?榈娜挝窠信判?,并生成任务排序表,所述任务排序??槟谠ぷ坝術bdt排序模型,所述gbdt排序模型的算法步骤为:输入(,),t,l,其中为样本,为分类标签,初始化,为标准值,计算响应,i=1,2,

              ,n,为损失函数,然后学习第t棵树,=arg,找步长= arg,为模型参数的共轭复数,为模型参数,为预测值,为步长,满足条件公式后,更新模型:,为分类学习器的输出值,输出;任务分配??槟谠ぷ坝械鞫人惴?,调度算法根据任务排序??榈娜挝衽判虮?,对任务排序表进行分割,按顺序分别生成子表1、子表2、

              、子表z,计算子表1中第一个任务的运行时间,并将第一个任务加入运行表1中第一个位置,然后计算子表1中第一个任务的运行时间,用与进行比较,若<,则将第二个任务插入第一个任务的前端,若≥,则将第二个任务放在第一个任务的后端,同理完成子表1中所有任务位置的调整,并生成运行表1,同理生成运行表2、

              、运行表z,将运行表1、运行表2、

              、运行表z中的任务依次加入集中至一处并生成新的批量任务列表;任务计算??榇唇ǜ鱿叱?,,通过设置正确个数的线程来最大化程序的运行速度;智能分析??槟谠ぷ坝蟹治龉嬖?,任务分配??樯傻男碌呐咳挝窳斜?,建立任务暂运行队列,首先往任务暂运行队列中加入新的批量任务列表中的第一个任务,然后往任务暂运行队列中加入第二个任务,分析第一个任务和第二个任务的cpu占用率,若cpu
              占用率≥50%,则将第二个任务踢出任务暂运行队列,此时任务暂运行队列中仅有第一个任务并生成任务运行队列,若cpu占用率<50%,则将第二个任务保留,此时任务暂运行队列中包含第一个任务和第二个任务,然后往任务暂运行队列中加入第三个任务,分析第一个任务、第二个任务和第三个任务的cpu占用率,若cpu占用率≥50%,则将第三个任务踢出任务暂运行队列,此时任务暂运行队列中包含第一个任务和第二个任务并生成任务运行队列,若cpu占用率<50%,则将第三个任务保留,此时任务暂运行队列中包含第一个任务、第二个任务和第三个任务,以此类推,生成最终的生成任务运行队列。
              17.其中,任务获取??榈呐渲眯畔ㄈ挝癖晔?、任务类型以及任务参数,表示l对f在处的负偏导,f为模型初始值,l为均方误差,=arg表示第t棵树的学习过程,第t棵树拟合的是给出的负偏导,t为cart的数目。
              18.同时,任务排序??橹刑跫轿?,任务计算??橹形罴严叱淌?。
              19.另外,任务分配??橹凶颖?、子表2、

              、子表z中的任务个数为100个,计时单元的具体流程为:设定计时单元的工作周期为g分钟,在到达g分钟后,筛选出缓存单元内的已完成的任务,然后清除与已完成任务相对应的缓存数据。
              20.使用本技术方案的系统时,任务获取??榛袢∨咳挝竦呐渲眯畔?,配置信息包括任务标识、任务类型以及任务参数,得到批量任务列表,任务排序??槎匀挝窕袢∧?榈娜挝窠信判?,并生成任务排序表, gbdt排序模型的算法步骤为:任务排序??槎匀挝窕袢∧?榈娜挝窠信判?,并生成任务排序表,任务排序??槟谠ぷ坝術bdt排序模型,gbdt排序模型的算法步骤为:输入(,),t,l,其中为样本,为分类标签,初始化,为标准值,计算响应,i=1,2,

              ,n,为损失函数,然后学习第t棵树,=arg,找步长= arg,为模型参数的共轭复数,为模型参数,为预测值,为步长,满足条件公式后,更新模型:,为分类学习器的输出值,输出,表示l对f在处的负偏导,f为模型初始值,l为均方误差,=arg表示第t棵树
              的学习过程,第t棵树拟合的是给出的负偏导,t为cart的数目;调度算法根据任务排序??榈娜挝衽判虮?,对任务排序表进行分割,按顺序分别生成子表1、子表2、

              、子表z,任务分配??橹凶颖?、子表2、

              、子表z中的任务个数为100个,计算子表1中第一个任务的运行时间,并将第一个任务加入运行表1中第一个位置,然后计算子表1中第一个任务的运行时间,用与进行比较,若<,则将第二个任务插入第一个任务的前端,若≥,则将第二个任务放在第一个任务的后端,同理完成子表1中所有任务位置的调整,并生成运行表1,同理生成运行表2、

              、运行表z,将运行表1、运行表2、

              、运行表z中的任务依次加入集中至一处并生成新的批量任务列表;任务计算??榇唇ǜ鱿叱?,,通过设置正确个数的线程来最大化程序的运行速度,为最佳线程数;智能分析??槟谠ぷ坝蟹治龉嬖?,所述任务分配??樯傻男碌呐咳挝窳斜?,建立任务暂运行队列,首先往任务暂运行队列中加入新的批量任务列表中的第一个任务,然后往任务暂运行队列中加入第二个任务,分析第一个任务和第二个任务的cpu占用率,若cpu占用率≥50%,则将第二个任务踢出任务暂运行队列,此时任务暂运行队列中仅有第一个任务并生成任务运行队列,若cpu占用率<50%,则将第二个任务保留,此时任务暂运行队列中包含第一个任务和第二个任务,然后往任务暂运行队列中加入第三个任务,分析第一个任务、第二个任务和第三个任务的cpu占用率,若cpu占用率≥50%,则将第三个任务踢出任务暂运行队列,此时任务暂运行队列中包含第一个任务和第二个任务并生成任务运行队列,若cpu占用率<50%,则将第三个任务保留,此时任务暂运行队列中包含第一个任务、第二个任务和第三个任务,以此类推,生成最终的生成任务运行队列,同时存储??榻挝窕袢∧?榛袢〉呐渲眯畔⒃荽嬖诨捍娴ピ?,然后通过计时单元,定时清除缓存单元内的缓存数据,从而释放缓存单元内的缓存空间,计时单元的具体流程为:设定计时单元的工作周期为g分钟,在到达g分钟后,筛选出缓存单元内的已完成的任务,然后清除与已完成任务相对应的缓存数据。
              当前第1页1 2 
              网友询问留言 已有0条留言
              • 还没有人留言评论。精彩留言会获得点赞!
              1
              彩票快三