针对软件定义网络(SDN)环境下的媒体分发计算机网络的接入控制问题，提出了一种综合考虑服务节点和传输链路服务性能优化问题的接入控制方案。该方案利用SDN控制器对路由器的直接管控和对全网的感知能力，对应用层上服务节点服务性能和网络层上服务节点到用户之间的传输链路的服务性能进行联合优化，减少了链路拥塞对数据传输和用户服务质量的影响。首先，为SDN服务系统的接入控制过程建立部分可观Markov决策过程(POMDP)模型;然后，使用基于观测的随机策略作为系统的接入控制策略;最后，通过策略梯度算法对接入控制策略进行优化，求解出模型的最优策略。仿真结果表明，与尽力而为的服务策略相比，基于POMDP模型的最优接入控制策略使系统性能提高了10%，验证了所提方法的有效性。
0引言
采用媒体分发网络的视频接入系统对传输时延和带宽具有高度灵敏性，许多工作致力于研究如何提高该类系统的性能和媒体分发的效率。接入控制在资源有限情况下对于提高系统资源利用率、提供服务质量保障非常重要[1]。选择一个好的接入控制策略可以保证在资源有限情况下，最大化系统资源利用率;同时显著地减少相应延迟，让更多的用户享受到高质量的服务[2]。
研究传统媒体分发网络的接入控制问题时，主要利用可获取得到的服务节点的容量和负载等信息，来制定接入控制方案，即主要考虑应用层上服务节点的服务能力存在瓶颈，通过寻找最优策略来优化节点的服务性能，从而提高系统资源利用率和用户的服务质量。目前，关于传统媒体分发网络的接入控制问题的研究有很多，基于阈值的接入控制方法由于结构简单且易于实现，已经被广泛应用[3]，其中几种基础的基于简单结构的阈值策略有完全共享策略[4-5]、完全区分策略[6-7]、资源预留策略[8-9]、自适应阈值策略[10]等。相对于基于阈值的接入控制方法，基于随机优化的接入控制着重于通过随机模型来描述系统状态在网络系统接入控制过程中的动态演化，并通过策略优化算法对系统接入控制进行优化。文献[11]为资源共享系统设计了一种基于Markov决策过程(Markov Decision Process， MDP)模型的接入控制方案，用于分析和求解具有多个级别服务的系统的接入控制策略。基于随机优化的方法在对网络系统接入控制过程的描述上更为准确，并且得到的接入控制策略也更为精细。
在传统的网络中，在网络层上采用尽力而为的服务方式，没有考虑不稳定的网络状态和网络拥塞对视频传输质量以及用户服务质量造成的影响[12]。软件定义网络(Software Defined Network， SDN)作为一种可以克服上述缺陷的新型网络系统架构，已经成为研究热点。SDN将网络控制平面从传统的分布式网络设备中独立出来，使得网络管理员能够通过在控制器上编制软件来灵活地控制和部署网络功能，实现了网络的可编程性。在基于SDN的媒体分发网络中，可以通过SDN控制器来控制网络层视频流的路径选择，从而降低视频传输时延，提高服务质量[13]。文献[14]提出一种基于SDN的内容分发方案，该方案采用基于名称的路由和缓存技术来进行流量管理，并根据网络状态动态选择、修改内容传输路径，从而提高内容分发效率。文献[15]为视频供应商提出一种采用OpenFlow组播技术的内容分发方案，该方案根据当前网络状态动态地重构组播树，并通过修剪拥塞链路对应的组播树分支，来有效地减少网络资源浪费。然而上述已有文献并没有对此类系统的接入控制问题进行探讨，为了进一步提高系统资源利用率和用户的服务质量，本文对基于SDN的媒体分发网络的接入控制问题进行研究。而传统媒体分发网络的接入控制方案只在应用层上考虑优化服务节点服务性能，而没有考虑网络层上传输链路的优化问题，因此，在研究基于SDN的媒体分发网络的接入控制问题时，采用上述方法已经不合时宜。
本文认为在研究基于SDN的媒体分发网络的接入控制问题时，应该充分利用SDN系统架构的优势和特点，不仅要考虑应用层上服务节点存在性能瓶颈;同时还应该考虑网络层上链路拥塞对数据传输质量和用户服务质量造成的影响。为此，利用SDN控制器对网络的管理和控制能力，在获取服务节点的资源分配和服务状况信息的同时，获取网络中数据传输路径上的资源使用情况(如可用服务带宽等)，为基于SDN的媒体分发网络系统提出了一种综合考虑应用层和网络层优化问题的接入控制方法。该接入控制方法一方面优化应用层上服务节点的服务性能;另一方面优化网络层上传输链路的服务性能，在有效利用系统资源的同时，提高了系统性能。此外，在传统的接入控制方案中，决策时仅考虑是否接入，接入后的节点选择依赖于源选择策略，如Benchmark策略等[16]，本文在构建系统模型时，将节点选择和链路选择融合到行动空间中，通过策略梯度优化算法，求解出使得系统性能达到最优的接入控制策略。
1基于SDN的媒体分发网络
首先介绍基于SDN的媒体分发网络的基本组成部分、相应的功能和相互之间的协作关系，在此基础上再讨论该系统的接入控制过程。
图1给出了基于SDN的媒体分发网络的系统架构。与传统媒体分发网络相比，基于SDN的媒体分发网络通过运行在高性能服务器上的SDN控制器加强了对整个网络的控制和管理，其中SDN控制器可以查看整个网络的状态信息，克服了传统媒体分发网络中边缘服务节点的局限性，因此基于SDN的媒体分发网络可以更好地进行全局优化，如流量工程、负载均衡等，并且集中式的管理框架使得管理大大简化。其次，在SDN中无需在网络边缘部署昂贵的边缘代理服务器，取而代之的是以分布式部署的可编程存储路由器，其中的可编程存储路由器是带有存储功能的，并以OpenFlow协议运行的路由器，由SDN控制器控制和配置。用户无需向距离较远的边缘服务器请求资源，SDN方案允许用户向距离更近的可编程存储路由器获取请求资源，这可以显著缩短资源传输距离，减少网络故障等不稳定因素的影响，从而提高视频服务质量和用户体验质量。流媒体服务器主要负责新资源的分发，可编程存储路由器在SDN控制器的作用下，周期地请求和接受来自源服务器的新资源。
图片
图1基于SDN的媒体分发网络
当系统中某个服务节点接收到一个来自用户的服务请求后，该系统的接入控制过程就开始了，图2给出了这个接入控制过程的控制结构。首先，用户向网络边缘的服务节点i发送关于资源k的服务请求，本地服务节点i将该服务请求转发给区域SDN控制器，该控制器会根据请求类型、系统状态和接入控制策略决定是否接入此请求。如果决策结果是接入请求，控制器一方面会根据本地服务节点i和部分其他服务节点的服务状态和资源分配情况，决定是由本地节点直接向用户提供服务，或是向其他服务节点j发送资源k的数据调度请求，数据调度的目的是由其他服务节点向本地节点i推送所需资源k;另一方面根据本地节点i到用户之间各条链路上的服务资源和负载情况，选择本地节点i下的一条链路完成到用户的资源传输。
图片
图2一个服务节点处的接入控制过程
当一个服务节点收到来自其他节点的数据调度请求后，不必对其是否接入进行决策，而是需要直接为该请求提供服务。然而，如果此服务节点处没有足够资源为这个请求提供服务时，为了保证正在被服务的其他用户请求的服务质量，服务节点会放弃为这个请求提供服务。同样在选择传输链路时，如果链路服务能力达到上限，为了保证其他正在接收资源的用户服务质量，传输链路会拒绝进行该数据传输。当一个请求所需的服务完成时，此请求所占用的系统资源也会随之释放;同时考虑到该系统中服务节点是可编程存储路由器，其存储空间有限，为了满足不同用户的不同资源请求，可以假设本地节点接收到的来自其他节点推送的资源，在服务完成用户请求后会被释放，即节点存储矩阵在系统更新资源前保持不变。
2基于POMDP的接入控制模型
MDP常用于解决接入控制问题，但MDP方法面临着状态空间过大导致的维数灾问题[17]，由MDP扩展的部分可观Markov决策过程(Partially Observable Markov Decision Process， POMDP)可以基于观测采取决策，能够有效地解决MDP维数灾问题，因此，本文通过POMDP对基于SDN的媒体分发网络的接入控制进行建模，并通过策略梯度优化算法求解最优接入策略。
在研究基于SDN的媒体分发网络的接入控制问题时，可以作如下假设：根据视频源服务器更新可编程存储路由器中存储资源的时间间隔较长，可以假设服务节点的存储信息不变，即存储矩阵不变;不同服务节点可以提供的服务种类是不一样的;由于SDN控制器对网络具有集中管控能力，可以为用户选择最短路径来传输资源，因此可以假设每个用户都是通过最短路径向服务节点发送资源请求;当收到用户请求的服务节点即本地服务节点没有请求所需的资源时，需要通过数据调度从别的服务节点将所需资源推送到本地节点，再由本地节点向用户提供服务;用户只能通过本地节点下的链路接收资源，这是因为在实际系统中，服务节点无法直接向所有用户提供服务。
为了充分利用SDN控制器对路由器的直接管控和全网感知能力，本文在对系统进行POMDP建模时综合考虑了服务节点和传输链路的性能优化问题。以服务用户数作为系统状态参数来反映服务节点和传输链路的负载，以节点选择和链路选择作为决策行动，并定义用户的请求到达和服务完成作为观测事件，进而可以计算出状态之间的转移概率和产生观测的概率，在模型构建完成后，通过策略梯度算法对接入控制策略进行优化。由于以系统长期运行得到的平均报酬作为衡量系统性能的准则，从而求解出的最优策略可以提高系统运营收益，对服务节点性能优化的同时，通过为用户选择传输链路，减少了链路拥塞对数据传输质量和用户服务质量造成的影响，并改善用户的服务体验，减少系统资源的浪费。
在对基于SDN的媒体分发网络的接入控制建模之前，首先给出系统的一些主要参数及描述。在基于SDN的媒体分发网络中，用户可以请求的资源种类数为K，K种资源存储在N个可编程存储路由器中，即系统中服务节点数为N;用Vi表示节点i处的服务连接数上限，当节点i的服务连接数等于Vi时，拒绝其他接入的请求;Li表示服务节点i下向用户进行资源传输的链路数，所有服务节点到用户之间用于资源传输的链路数总数为L，满足L=L1∪L2∪…∪LN;用Bli表示节点i下链路l上可用于资源传输的服务带宽上限，当该链路上已消耗的服务带宽等于Bli时，拒绝其他的资源传输请求;bk表示向用户提供第k种资源服务所消耗的服务带宽;假设用户请求到达服从泊松分布，用λilik表示节点i收到来自链路li关于资源k的请求到达率;假设用户服务时间服从指数分布，用μk表示关于资源k的服务率。
根据上述讨论与假设，接入控制的POMDP模型可以描述如下。
2.1状态空间
2.2观测空间
2.4状态转移概率
3优化算法与仿真
3.1梯度优化算法
3.2仿真实例
假设一个基于SDN的媒体分发网络系统可以向用户提供4种资源服务，并存储在3个可编程存储路由器中，即该系统中服务节点数为3，并假设每个服务节点下各有3条链路可以进行资源传输，资源在各个节点的分布情况由存储矩阵D决定，下面给出系统仿真参数取值，如表1所示。
在仿真优化初始阶段，由于系统资源消耗较少，本文选择尽力而为的服务策略作为起始策略，该策略一方面使服务节点尽可能大地接入用户的资源请求;另一方面，选择最短传输链路作为服务节点向用户推送资源的路径选择策略。起始策略在系统负载较低的情况下，可以为用户提供良好的服务质量，但随着系统内服务用户数的增加，由于没有考虑节点和传输链路的负载情况以及对用户造成的服务延时，会导致系统整体负担较大，在极大浪费系统资源的同时，使用户得到较差的体验质量。
在选定初始策略的基础上，使用策略梯度优化算法进行策略迭代，由于选取系统长期运行得到的平均报酬作为系统性能测度，优化目标是求出最优策略使其最大，为了观测系统性能的变化情况，绘制出系统性能在迭代过程中的变化曲线，如图3所示。从图3可以看出，随着迭代次数的增加，接入控制策略不断进行更新，系统性能也随之显著提升，并最终在最优策略下系统性能达到最优。表2给出两种不同策略下的系统性能对比数据，将基于POMDP的最优策略与尽力而为策略作对比，发现最优策略下的系统性能明显优于尽力而为策略，性能提升约10%，验证了本文所提出的综合优化应用层服务节点和网络层传输链路服务性能的接入控制方案，在有效利用系统资源的同时，提高了系统的性能。
本文进一步研究到达率对策略梯度优化算法的影响，分别在低到达率λ2和高到达率λ3的情况下，观测系统性能随迭代次数增加的变化情况，其中λ2和λ3的取值如下，最终实验仿真结果如图4所示。
由图4可知，不论是在低到达率还是高到达率下，策略梯度优化算法都非常有效，接入控制策略的系统性能均随着迭代次数的增加逐渐升高，并在迭代结束后的最优策略下达到最优。系统性能的显著提升意味着与尽力而为策略相比，媒体服务提供商采用最优策略作为接入控制策略将得到更高的收益，从而提高了系统的运营能力。
4结语
本文对基于SDN的媒体分发网络的接入控制问题进行研究，在传统接入控制方案的基础上，结合SDN系统架构的特点，提出了一种综合考虑应用层和网络层优化问题的接入控制方案。该方案一方面优化应用层上服务节点的服务性能;另一方面优化网络层上服务节点到用户之间的传输链路的服务性能，减少链路拥塞对数据传输和用户服务质量的影响。本文利用POMDP对系统的接入控制进行建模，并采用策略梯度优化算法求解出最优策略。最后，通过仿真实验验证了模型的有效性及优势。
作者：曹浩殷保群曹杰陆效农 来源：计算机应用 2016年7期
