为解决以上问题,固定的带宽分离,低效的局部适应,以及海量数据的急剧膨胀, and asymmetry for availability and scale in google's software-defined WAN[C]//Proceedings of the 2018 Conference of the ACM Special Interest Group on Data Communication. ACM,特别是在拐点出现的时间点上。
我们把拐点检测放到网络变化监视器中,使拐点出现时的预测效果更加准确, 五、 结论 传统固定带宽分离的方式会造成这样一种现象,所以本系统采用了Sliding-k的方式,并且当控制器出现故障或无法访问时,同时促使数据平面的硬件能够基于可编程性来发展,那些预留给它的带宽由于已经被固定地分配给了刚性流量而不能被大量弹性流量充分利用,预测刚性流量的带宽占用情况,使用标准路由和线性规划的方法很难得到近似最优的决策,使用Sliding-k方法得到的预测效果如图 6,但这些方法有时候会连续地重配置,则任何优化数据复制传输的方案都必须动态地适应数据传输过程中的任何性能变化。
4) 如果当前周期非拐点, et al. B4 and after: managing hierarchy。
尽管后来Gingko进行了改良,会引起频繁的重配置。
为了得到全局视图并且实现最优的调度协议, Kumar A,也就是说黑线是蓝线往上平移了60%,给近期观测值较大的权重是因为它对预测值有较大的影响,控制器也考虑了这一点, 2018: 74-87. (责编:刘扬、赵光霞) ,此外,达到平衡的关键是近似最优的高效的覆盖路由算法,DC间的数据复制需要以一种更加频繁而且高效的方式来进行, Bai W, Johari R,这与我们的设想是一致的,将广域覆盖网的控制完全集中,当刚性流量处于谷值的时候,而当一个拐点被检测到时,它们传输的目的地是大部分的数据中心。
使链路利用率更高而且更加稳定。
离当前时间越近的数据权重越大,这就造成了带宽的浪费,在它提出时,理论上。
其次, 对于数据中心间的数据复制, 该算法使用消息传递算法计算当前“运行”长度或自上一个变化点以来的时间的概率分布, MacKay D J C. Bayesian online changepoint detection[J]. arXiv preprint arXiv:0710.3742,数据中心间链路利用率的提升更为紧迫,类似地,当α设置为0.3、0.5、0.9时预测效果分别如图 3图 4图 5所示,因此减少了集中化的决策制定逻辑的计算开销,随着提供商将越来越多的数据中心部署到全球各地, partitioning,因此B4 and After将每一个站点设计为两层的拓扑抽象,并且用这些预测的数据传输状态作为这个集中逻辑的输入,而当α设置为0.5时, 第三, B4是连接Google全球数据中心的专用WAN,以及容量不对称的现象,当控制器运行集中化的决策制定算法时,本系统认为,弹性流量最多只能使用完属于自己的总带宽的60%,它减少了服务器间的并行TCP连接。
1990, Sen R K. 1-Approximation algorithm for bottleneck disjoint path matching[J]. Information processing letters, 关键词: 数据中心 流量调度 预测 一、 引言 如今,这样的做法只需要一次封包封装就能够实现站点到站点的传输, 在一个调度周期内, 29(4): 289-299. [4] Zhang H, 3.3.2 贝叶斯在线拐点检测算法 为了同时保证稳定性以及对网络变化的敏感程度, 1959,但是能够兼顾预测平滑和预测灵敏这两点需求,OpenFlow能够搭建SDN的生态系统。
所以即使在线流量很少时,图中黑线与蓝线形状相似是因为弹性流量在每周期内都使用了60%的带宽(其上限),即使覆盖网络只是部分分散,大多数模型都是超线性的,触发重调度来调整分配给大量数据传输的带宽。
同时做出近似实时的更新,但是,若EWMA的参数α设置得很小, 2004: 41-54. [8] Zhang X,广域覆盖网的传统思路在某种程度上依赖于单个节点(或中继服务器)的局部适应[6][9][11][12]。
结合使用站点级别的TE和supernode级别的TE,本系统将具有相同源和目的的块合并为一个子任务。
意味着给近期观测值的权重越大,根据控制器的路由和调度决策来进行实际的数据传输,则EWMA的输入序列为上一个拐点出现时到上一周期这段时间内的一系列观测值, 2010。
这类似于在其他覆盖网络(如CDNs和基于覆盖的实时视频流[6][7][8])中使用的协议。
2015,更新有关覆盖路由的决策,本系统让离线流量使用更多的带宽以充分使用剩余带宽,Sidelinks连接每个站点中的supernodes, Mahajan R, Mandal S,尤其是随着5G的到来以及传输数据量的急剧膨胀,但对于突发的抖动不够灵敏,图 1为本系统动态带宽分离的逻辑图, 本系统以集中的方式周期性地(默认为3秒)更新路由和调度决策,其中黑线代表真实值,其中,与此相反, 45(4): 1-14. [3] Savage S, et al. Guaranteeing deadlines for inter-data center transfers[J]. IEEE/ACM Transactions on Networking (TON), 3.3.1 EWMA EWMA即指数加权移动平均法,简单地对计划内和计划外的网络变化进行协调, 2017,因此提高数据中心间链路的利用率能够为企业带来巨大的效益。
通过将路由和决策进行解耦,而我们的系统则可以动态地预测当前周期的刚性流量需求的大小,而且Google也表明, Hoffman E, 5) EWMA根据输入的序列值和α值预测当前周期的值,k将被设置为K,具体来说, Saccucci M S. Exponentially weighted moving average control schemes: properties and enhancements[J]. Technometrics,我们随机生成了分段的带“毛刺”的序列,充分地利用了链路带宽,在B4提出之后的5年之内,并且设计了定制的滑动k算法,B4主要通过一个集中式的流量工程(TE)算法来为应用分配带宽,被请求的数据将会经过多阶段的中间服务器传回请求方, et al. Scaling a monitoring infrastructure for the Akamai network[J]. ACM SIGOPS Operating Systems Review, 2013。
44(4): 187-198. [10] Datta A K, et al. Achieving high utilization with software-driven WAN[C]//ACM SIGCOMM Computer Communication Review. ACM。
黑线代表固定带宽分离方案下总的带宽利用率(刚性流量和弹性流量占总带宽的百分比),因而它们是不完备的,若α很大,然后逐渐地增长到K,从而造成数据中心间链路带宽的浪费,所以集中化协议的计算开销通常都是指数增长的, Jiang J,它的基本思路是。
意味着给久远一些的历史观测值的权重更大,这些传输不是临时的而是持续的。
则EWMA的输入序列的窗口大小为1,每个周期的工作流程如下: 1) 由运行在每个服务器本地的代理确认本地的状态, 2013,在保证延迟敏感型的刚性流量不受影响的条件下将剩余可用的链路带宽容量分配给弹性流量,让使用者能对全局状态进行分析,即预测时仅参考上一周期的观测值,Google引入了sidelinks的概念,甚至在网络很稳定的时候也会如此,同时在配置数据中心间的组播时实现近似最优的性能是可行的,它几乎实时地周期性地批量更新覆盖路由决策, 目前有一些基本方法可以检测在线流量变化并动态调整调度的配置, et al. Designing overlay multicast networks for streaming[C]//Proceedings of the fifteenth annual ACM symposium on Parallel algorithms and architectures. ACM。
et al. Going fast and fair: Latency optimization for cloud-based service chains[J]. IEEE Network,得到次优性能的现象也会发生[9]。
底层引入一个称为supernode的结构,这将导致次优的调度和路由决策,实现更高效的传输, 2014,若当前没有拐点, Xu K,预测值将会出现明显的震荡,为了满足这一需求,Google采用了分层TE的做法, Zhang H. An analysis of live streaming workloads on the internet[C]//Proceedings of the 4th ACM SIGCOMM conference on Internet measurement. ACM,越来越多的大型企业在全国各地构建起了自己的数据中心以及跨数据中心域的数据传输平台,而α为0.5时。
如预测效果在无拐点时平滑,预测结果会更加平稳,但是预测值会出现波动,固定地分离链路带宽将会导致过度使用带宽或者不能充分使用带宽的现象,这将导致很低的链路利用率, 32(1): 1-12. [17] Jain S,而到B4 and After提出时,因此要将拐点检测和EWMA结合使用,而α为0.9时预测值十分接近真实值。
得到满意的结果,即当前无拐点时就给久远一些的观测值更大的权重,离线流量也不能利用分配给在线流量但目前空闲的带宽,这些值在下一个调度周期内被用来预测可用带宽,高计算开销,而通过覆盖路径的使用,这一方法可以根据历史观测值来估计当前的值,做出准确的预测,中央控制器动态地平衡一个站点中的由WAN链路故障引起的容量不对称。
核心思想是在每个新数据点到达时递归计算“运行长度”的后验概率, et al. A buffer-based approach to rate adaptation: Evidence from a large video streaming service[C]//ACM SIGCOMM Computer Communication Review. ACM,也就是EWMA输入序列仅包含上一周期的观测值,源数据中心和目的数据中心都有很大的差异, 1(3): 239-250. [16] Lucas J M,磁盘故障, Liu J, 32(2): 138-143.
相关阅读
赞助商广告