KafkaCanalConnector (canal client module for otter 1.1.5 1.1.5 API)

java.lang.Object
- com.alibaba.otter.canal.client.kafka.KafkaCanalConnector

所有已实现的接口:: CanalConnector, CanalMQConnector

直接已知子类:: KafkaOffsetCanalConnector

public class KafkaCanalConnector
extends java.lang.Object
implements CanalMQConnector

canal kafka 数据操作客户端

 注意点：
 1. 相比于canal SimpleCanalConnector, 这里get和ack操作不能有并发, 必须是一个线程执行get后，内存里执行完毕ack后再取下一个get

版本:: 1.1.1
作者:: machengyuan @ 2018-6-12

字段概要

字段
限定符和类型	字段和说明
`protected boolean`	`connected`
`protected boolean`	`flatMessage`
`protected org.apache.kafka.clients.consumer.KafkaConsumer<java.lang.String,Message>`	`kafkaConsumer`
`protected org.apache.kafka.clients.consumer.KafkaConsumer<java.lang.String,java.lang.String>`	`kafkaConsumer2`
`protected java.lang.Integer`	`partition`
`protected java.util.Properties`	`properties`
`protected boolean`	`running`
`protected java.lang.String`	`topic`

构造器概要

构造器
构造器和说明
`KafkaCanalConnector(java.lang.String servers, java.lang.String topic, java.lang.Integer partition, java.lang.String groupId, java.lang.Integer batchSize, boolean flatMessage)`

方法概要

所有方法实例方法具体方法
限定符和类型	方法和说明
`void`	`ack()` 提交offset，如果超过 session.timeout.ms 设置的时间没有ack则会抛出异常，ack失败
`void`	`ack(long batchId)` 进行 batch id 的确认。
`boolean`	`checkValid()` 检查下链接是否合法几种case下链接不合法: 1.
`void`	`connect()` 打开连接
`void`	`disconnect()` 关闭链接
`Message`	`get(int batchSize)` 获取数据，自动进行确认，该方法返回的条件：尝试拿batchSize条记录，有多少取多少，不会阻塞等待
`Message`	`get(int batchSize, java.lang.Long timeout, java.util.concurrent.TimeUnit unit)` 获取数据，自动进行确认该方法返回的条件： a.
`java.util.List<FlatMessage>`	`getFlatList(java.lang.Long timeout, java.util.concurrent.TimeUnit unit)` 获取数据，自动进行确认，设置timeout时间直到拿到数据为止该方法返回的条件： a.
`java.util.List<FlatMessage>`	`getFlatListWithoutAck(java.lang.Long timeout, java.util.concurrent.TimeUnit unit)` 获取数据，设置timeout时间直到拿到数据为止该方法返回的条件： a.
`java.util.List<Message>`	`getList(java.lang.Long timeout, java.util.concurrent.TimeUnit unit)` 获取数据，自动进行确认，设置timeout时间直到拿到数据为止该方法返回的条件： a.
`java.util.List<Message>`	`getListWithoutAck(java.lang.Long timeout, java.util.concurrent.TimeUnit unit)` 获取数据，设置timeout时间直到拿到数据为止该方法返回的条件： a.
`Message`	`getWithoutAck(int batchSize)` 不指定 position 获取事件，该方法返回的条件: 尝试拿batchSize条记录，有多少取多少，不会阻塞等待 canal 会记住此 client 最新的position。
`Message`	`getWithoutAck(int batchSize, java.lang.Long timeout, java.util.concurrent.TimeUnit unit)` 不指定 position 获取事件.
`void`	`rollback()` 回滚到未进行 `CanalMQConnector.ack()` 的地方，下次fetch的时候，可以从最后一个没有 `CanalMQConnector.ack()` 的地方开始拿
`void`	`rollback(long batchId)` 回滚到未进行 `CanalConnector.ack(long)` 的地方，指定回滚具体的batchId
`void`	`setSessionTimeout(java.lang.Long timeout, java.util.concurrent.TimeUnit unit)` 重新设置sessionTime
`void`	`subscribe()` 订阅topic
`void`	`subscribe(java.lang.String filter)` 客户端订阅，重复订阅时会更新对应的filter信息说明： a.
`void`	`unsubscribe()` 取消订阅
`protected void`	`waitClientRunning()`

从类继承的方法 java.lang.Object
clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

字段详细资料

kafkaConsumer

protected org.apache.kafka.clients.consumer.KafkaConsumer<java.lang.String,Message> kafkaConsumer

kafkaConsumer2

protected org.apache.kafka.clients.consumer.KafkaConsumer<java.lang.String,java.lang.String> kafkaConsumer2

topic
```
protected java.lang.String topic
```

partition
```
protected java.lang.Integer partition
```

properties

protected java.util.Properties properties

connected
```
protected volatile boolean connected
```

running
```
protected volatile boolean running
```

flatMessage
```
protected boolean flatMessage
```

构造器详细资料

KafkaCanalConnector

public KafkaCanalConnector(java.lang.String servers,
                           java.lang.String topic,
                           java.lang.Integer partition,
                           java.lang.String groupId,
                           java.lang.Integer batchSize,
                           boolean flatMessage)

方法详细资料

connect
```
public void connect()
```
打开连接

指定者:

connect 在接口中 CanalConnector

disconnect
```
public void disconnect()
```
关闭链接

指定者:

disconnect 在接口中 CanalConnector

waitClientRunning
```
protected void waitClientRunning()
```

checkValid

public boolean checkValid()

从接口复制的说明: CanalConnector

检查下链接是否合法

 几种case下链接不合法:
 1. 链接canal server失败，一直没有一个可用的链接，返回false
 2. 当前客户端在进行running抢占的时候，做为备份节点存在，非处于工作节点，返回false
 
 说明：
 a. 当前客户端一旦做为备份节点存在，当前所有的对CanalConnector的操作都会处于阻塞状态，直到转为工作节点
 b. 所以业务方最好定时调用checkValid()方法用，比如调用CanalConnector所在线程的interrupt，直接退出CanalConnector，并根据自己的需要退出自己的资源

指定者:: checkValid 在接口中 CanalConnector

subscribe
```
public void subscribe()
```
订阅topic

指定者:

subscribe 在接口中 CanalConnector

unsubscribe
```
public void unsubscribe()
```
取消订阅

指定者:

unsubscribe 在接口中 CanalConnector

getList

public java.util.List<Message> getList(java.lang.Long timeout,
                                       java.util.concurrent.TimeUnit unit)
                                throws CanalClientException

从接口复制的说明: CanalMQConnector

获取数据，自动进行确认，设置timeout时间直到拿到数据为止

 该方法返回的条件：
  a. 如果timeout=0，有多少取多少，不会阻塞等待
  b. 如果timeout不为0，尝试阻塞对应的超时时间，直到拿到数据就返回

指定者:: getList 在接口中 CanalMQConnector
返回:
抛出:: CanalClientException

getListWithoutAck

public java.util.List<Message> getListWithoutAck(java.lang.Long timeout,
                                                 java.util.concurrent.TimeUnit unit)
                                          throws CanalClientException

从接口复制的说明: CanalMQConnector

获取数据，设置timeout时间直到拿到数据为止

 该方法返回的条件：
  a. 如果timeout=0，有多少取多少，不会阻塞等待
  b. 如果timeout不为0，尝试阻塞对应的超时时间，直到拿到数据就返回

指定者:: getListWithoutAck 在接口中 CanalMQConnector
抛出:: CanalClientException

getFlatList

public java.util.List<FlatMessage> getFlatList(java.lang.Long timeout,
                                               java.util.concurrent.TimeUnit unit)
                                        throws CanalClientException

从接口复制的说明: CanalMQConnector

获取数据，自动进行确认，设置timeout时间直到拿到数据为止

 该方法返回的条件：
  a. 如果timeout=0，有多少取多少，不会阻塞等待
  b. 如果timeout不为0，尝试阻塞对应的超时时间，直到拿到数据就返回

指定者:: getFlatList 在接口中 CanalMQConnector
返回:
抛出:: CanalClientException

getFlatListWithoutAck

public java.util.List<FlatMessage> getFlatListWithoutAck(java.lang.Long timeout,
                                                         java.util.concurrent.TimeUnit unit)
                                                  throws CanalClientException

从接口复制的说明: CanalMQConnector

获取数据，设置timeout时间直到拿到数据为止

 该方法返回的条件：
  a. 如果timeout=0，有多少取多少，不会阻塞等待
  b. 如果timeout不为0，尝试阻塞对应的超时时间，直到拿到数据就返回

指定者:: getFlatListWithoutAck 在接口中 CanalMQConnector
抛出:: CanalClientException

rollback
```
public void rollback()
```
从接口复制的说明: CanalMQConnector

回滚到未进行 CanalMQConnector.ack() 的地方，下次fetch的时候，可以从最后一个没有 CanalMQConnector.ack() 的地方开始拿

指定者:

rollback 在接口中 CanalConnector

指定者:

rollback 在接口中 CanalMQConnector

ack
```
public void ack()
```
提交offset，如果超过 session.timeout.ms 设置的时间没有ack则会抛出异常，ack失败

指定者:

ack 在接口中 CanalMQConnector

public void subscribe(java.lang.String filter)
               throws CanalClientException

从接口复制的说明: CanalConnector

客户端订阅，重复订阅时会更新对应的filter信息

 说明：
 a. 如果本次订阅中filter信息为空，则直接使用canal server服务端配置的filter信息
 b. 如果本次订阅中filter信息不为空，目前会直接替换canal server服务端配置的filter信息，以本次提交的为准
 
 TODO: 后续可以考虑，如果本次提交的filter不为空，在执行过滤时，是对canal server filter + 本次filter的交集处理，达到只取1份binlog数据，多个客户端消费不同的表

指定者:: subscribe 在接口中 CanalConnector
抛出:: CanalClientException

get
```
public Message get(int batchSize)
            throws CanalClientException
```
从接口复制的说明: CanalConnector

获取数据，自动进行确认，该方法返回的条件：尝试拿batchSize条记录，有多少取多少，不会阻塞等待

指定者:

get 在接口中 CanalConnector

返回:

抛出:

CanalClientException

get

public Message get(int batchSize,
                   java.lang.Long timeout,
                   java.util.concurrent.TimeUnit unit)
            throws CanalClientException

从接口复制的说明: CanalConnector

获取数据，自动进行确认

 该方法返回的条件：
  a. 拿够batchSize条记录或者超过timeout时间
  b. 如果timeout=0，则阻塞至拿到batchSize记录才返回

指定者:: get 在接口中 CanalConnector
返回:
抛出:: CanalClientException

getWithoutAck
```
public Message getWithoutAck(int batchSize)
                      throws CanalClientException
```
从接口复制的说明: CanalConnector

不指定 position 获取事件，该方法返回的条件: 尝试拿batchSize条记录，有多少取多少，不会阻塞等待
canal 会记住此 client 最新的position。
如果是第一次 fetch，则会从 canal 中保存的最老一条数据开始输出。

指定者:

getWithoutAck 在接口中 CanalConnector

抛出:

CanalClientException

getWithoutAck

public Message getWithoutAck(int batchSize,
                             java.lang.Long timeout,
                             java.util.concurrent.TimeUnit unit)
                      throws CanalClientException

从接口复制的说明: CanalConnector

不指定 position 获取事件.

 该方法返回的条件：
  a. 拿够batchSize条记录或者超过timeout时间
  b. 如果timeout=0，则阻塞至拿到batchSize记录才返回

canal 会记住此 client 最新的position。
如果是第一次 fetch，则会从 canal 中保存的最老一条数据开始输出。

指定者:: getWithoutAck 在接口中 CanalConnector
返回:
抛出:: CanalClientException

ack
```
public void ack(long batchId)
         throws CanalClientException
```
从接口复制的说明: CanalConnector

进行 batch id 的确认。确认之后，小于等于此 batchId 的 Message 都会被确认。

指定者:

ack 在接口中 CanalConnector

抛出:

CanalClientException

rollback
```
public void rollback(long batchId)
              throws CanalClientException
```
从接口复制的说明: CanalConnector

回滚到未进行 CanalConnector.ack(long) 的地方，指定回滚具体的batchId

指定者:

rollback 在接口中 CanalConnector

抛出:

CanalClientException

setSessionTimeout

public void setSessionTimeout(java.lang.Long timeout,
                              java.util.concurrent.TimeUnit unit)

重新设置sessionTime

参数:: timeout -; unit -

类 KafkaCanalConnector

字段概要

构造器概要

方法概要

从类继承的方法 java.lang.Object

字段详细资料

kafkaConsumer

kafkaConsumer2

topic

partition

properties

connected

running

flatMessage

构造器详细资料

KafkaCanalConnector

方法详细资料

connect

disconnect

waitClientRunning

checkValid

subscribe

unsubscribe

getList

getListWithoutAck

getFlatList

getFlatListWithoutAck

rollback

ack

subscribe

get

get

getWithoutAck

getWithoutAck

ack

rollback

setSessionTimeout