flume之退避算法backoff algorithm[通俗易懂]

flume之退避算法backoff algorithm[通俗易懂]flume之退避算法backoffalgorithm什么是退避算法:Inasinglechannelcontentionbasedmediumaccesscontrol(MAC)protocols,whenevermorethanonestationornodetriestoaccessthemediumatthesameinstantof…

大家好,又见面了,我是你们的朋友全栈君。

什么是退避算法:

In a single channel contention based medium access control (MAC) protocols, whenever more than one station or node tries to access the medium at the same instant of time, it leads to packet collisions. If the collided stations tries to access the channel again, the packets will collide as the nodes are synchrozied in time. So the nodes need to be displaced in time. To displace them temporally, a backoff algorithm is used (example binary exponential backoff (BEB)). For example, in BEB algorithm, whenever a node’s transmission is involved in a collision with another node’s transmission, both nodes will choose a random waiting time and wait for this amoiunt of time before attempting again. If they are not successful in this attempt, they double their contention window and choose a randoim waiting time before transmitting again. This process will be repeated for certain number of attempts. If the nodes are not successful in their transmission after this limit, the packets will be dropped from their queue.

大致意思是,在一个共享信道的情况下,当网络上的节点在发生冲突时,每个节点节点等待一定的时间后重新发送。在二进制指数退避算法中,等待时间随着以二为底的指数增长。如果重试失败,那么下次的等待时间将会是上次的等待时间二倍。如果重试次数大于最大重试次数,那么包将从包队列中去除。

我们认识了什么是退避算法之后,来看一下flume中对退避算法的应用。从退避算法的概念可知,该算法用在网络错误,重试的情况中,例如打开一个网络链接,向网络中发送数据等。在flume中,insistentAppend和insistentOpen封装器都用到了退避算法来处理网络的发送数据和链接打开过程。我们来通过insistentAppend中的append方法例子,看一下怎么对退避算法进行运用。

 

Java代码  

  1. public void append(Event evt) throws IOException, InterruptedException {  
  2.     List<IOException> exns = new ArrayList<IOException>();  
  3.     int attemptRetries = 0;  
  4.     appendRequests++;  
  5.     while (!backoff.isFailed() && isOpen.get()  
  6.         && !Thread.currentThread().isInterrupted()) {  
  7.       try {  
  8.         appendAttempts++;  
  9.         super.append(evt);  
  10.         appendSuccesses++;  
  11.         backoff.reset(); // reset backoff counter;  
  12.         return;  
  13.       } catch (InterruptedException ie) {  
  14.         throw ie;  
  15.       } catch (IOException e) {  
  16.         // this is an unexpected exception  
  17.         long waitTime = backoff.sleepIncrement();  
  18.         LOG.info(“append attempt “ + attemptRetries + ” failed, backoff (“  
  19.             + waitTime + “ms): “ + e.getMessage());  
  20.         LOG.debug(e.getMessage(), e);  
  21.         exns.add((e instanceof IOException) ? (IOException) e  
  22.             : new IOException(e));  
  23.         backoff.backoff();  
  24.         try {  
  25.           backoff.waitUntilRetryOk();  
  26.         } catch (InterruptedException e1) {  
  27.           // got an interrupted signal, bail out!  
  28.           throw e1;  
  29.         } finally {  
  30.           attemptRetries++;  
  31.           appendRetries++;  
  32.         }  
  33.       } catch (RuntimeException e) {  
  34.         // this is an unexpected exception  
  35.         LOG.info(“Failed due to unexpected runtime exception “  
  36.             + “during append attempt”, e);  
  37.         appendGiveups++;  
  38.         throw e;  
  39.       }  
  40.     }  
  41.     appendGiveups++;  
  42.     // failed to start  
  43.     IOException ioe = MultipleIOException.createIOException(exns);  
  44.     if (ioe == null) {  
  45.       return;  
  46.     }  
  47.     throw ioe;  
  48.   }  

 通过对以上代码抽象,一般采用以下形式来运用backoff算法。

 

Java代码  

  1. while (!backoff.isFailed()) {  
  2.           try {  
  3.             doSomething(); //do something  
  4.             backoff.reset(); // reset backoff counter;  
  5.             return;  
  6.           } catch (Exception e) {  
  7.             backoff.backoff();  
  8.             try {  
  9.               backoff.waitUntilRetryOk();  
  10.             } catch (InterruptedException e1) {         
  11.             }   
  12.          }  
  13.      }  

 

 目前在flume中主要运用了ExponentialBackoff,CappedExponentialBackoff,CumulativeCappedExponentialBackoff三种退避算法。

ExponentialBackOff是个简单的指数退避算法,仅仅让下次的等待时间是上次等待时间的2倍,当重试次数达到最大重试次数时,该任务将不能重试。

CappedExponentialBackoff对ExponentialBackOff算法作了简单的改造,该算法对每次的等待时间做了个限定,即每次的等待时间不超过某个值sleepCap。但该方法没有限定重试次数。

CumulativeCappedExponentialBackoff算法对CappedExponentialBackoff作了些改造,该算法加入了cumulativeCap变量,用来限制重试次数。在第一次backoff的时候设置failTime值为当前时间+cumulativeCap。是否可以重试由当前时间和failTime决定。当前时间小于failTime则表明还可以重试,否则,不能重试。

 

通过对以上的分析,可以得到一个Backoff算法必须提供四个接口(isFailed,backOff,waitUntilRetryOk,reset)。其中,isFailed用来判断是否可以重试,backoff用来设置等待时间,waitUntilRetryOk根据backoff设置的等待时间sleep,以便下次重试。reset的接口是在任务成功后,对backoff算法的一些变量重置。详细可以看ExponentialBackoff等源代码。

 

退避算法为我们在解决重试某项任务的时候,提供了一个比较好的等待思想。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/149186.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • Redis-主从复制和哨兵模式

    主从复制指的是把一台Redis服务器的数据复制到其他Redis服务器上,前者称为主节点Master,后者称为从节点Slave,只能从Master单向复制到Slave,一般Master以写操作为主,Slave以读操作为主,实现读写分离。

  • 模电基础知识点小结[通俗易懂]

    模电基础知识点小结[通俗易懂]第一章常用半导体器件在本征半导体中加入三价元素可形成P型半导体。(五价磷元素形成N型)当PN结加正向电压时,空间电荷区将(变窄)。PN结的单向导电性:在PN结两端加正向电压时,内电场被削弱,空间电荷区变窄,有利于多子扩散,不利于少子漂移,PN结处于导通状态;当在PN结两端加反向电压时,内电场增强,空间电荷区变宽,有利于少子漂移,不利于多子扩散,PN结处于反向截止状态。当二极管外加正向电压增大时,其动态电阻增大。(×)要使稳压管的稳压,其工作区为(反向击穿区)。稳压管与普通二极管的

  • jmeter 分布式测试

    jmeter 分布式测试

  • 卷积神经网络和图像识别[通俗易懂]

    卷积神经网络和图像识别[通俗易懂]卷积神经网络与图像识别我们介绍了人工神经网络,以及它的训练和使用。我们用它来识别了手写数字,然而,这种结构的网络对于图像识别任务来说并不是很合适。本文将要介绍一种更适合图像、语音识别任务的神经网络结构——卷积神经网络(ConvolutionalNeuralNetwork,CNN)。说卷积神经网络是最重要的一种神经网络也不为过,它在最近几年大放异彩,几乎所有图像、语音识别领域的…

  • RabbitMQ入门:Hello RabbitMQ 代码实例[通俗易懂]

    在之前的一篇博客RabbitMQ入门:认识并安装RabbitMQ(以Windows系统为例)中,我们安装了RabbitMQ并且对其也有的初步的认识,今天就来写个入门小例子来加深概念理解并了解代码怎么实

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号