kafka跨集群同步

顾莺鱼3140集群环境中,多台服务器之间多线程如何进行数据同步 -
湛治哑15710641008 ______ 如何让所有服务器之间数据同步1、采用高可百用sureHA软件镜像型,一台主服务器,一台备服务器,通过网线实时将数据备份,实现服务器双机互备的功能,此方式保证多台服务器之间数据度的一致性.2、采用高可用sureHA双机热备共享型...

顾莺鱼3140kafka集群重启,怎样确 -
湛治哑15710641008 ______ 1、查询当前线程是否包含kafka2、查询当前端口占用线程是否归属kafka3、开启consumer线程查看运行4、借助第三方监控工具查看集群运行情况

顾莺鱼3140为什么搭建Kafka需要zookeeper? -
湛治哑15710641008 ______ 需要一个地方存元信息.zookeeper又是分布式,做配置管理比较好的.于是就用上了.没zookeeper的话,也需要一套机制存储元数据和交换集群信息的工具.kafka的官方文档有说明.zookeeper是为了解决分布式一致性问题的工具.至于kafka为什么使用zk,你首先要知道zk的作用, 作为去中心化的集群模式.需要要消费者知道现在那些生产者(对于消费者而言,kafka就是生产者)是可用的.如果没了zk消费者如何知道,如果每次消费者在消费之前都去尝试连接生产者测试下是否连接成功,那么效率问题怎么解决.所以kafka需要zk,在kafka的设计中就依赖了zk了.

顾莺鱼3140数据库集群环境中,每台服务器中数据一致吗? -
湛治哑15710641008 ______ 每台服务器中数据是不一致的.1、集群技术主要是解决单一服务器计算能力、存储能力、网络能力等指标低下的问题;2、集群环境的数据库是将数据切片后分散存储到每一个服务器,每个数据库服务器只保存整体数据库的一部分;3、集群数据库后每一台主机对数据分别计算合并结果,最后返回给客户;这样的数据库有:MySQL集群、postgresql 、greenplum等.

顾莺鱼3140java kafka 怎么传输对象 -
湛治哑15710641008 ______ 1.zookeeper集群 搭建在110, 111,112 2.kafka使用3个节点110, 111,112 修改配置文件config/server.properties broker.id=110 host.name=192.168.1.110 log.dirs=/usr/local/kafka_2.10-0.8.2.0/logs 复制到其他两个节点,然后修改对应节点上的config...

顾莺鱼3140kafka 为什么只从当前分区拉数据 -
湛治哑15710641008 ______ 若没有分区,一个topic对应的消息集在分布式集群服务组中,就会分布不均匀,即可能导致某台服务器A记录当前topic的消息集很多,若此topic的消息压力很大的情况下,服务器A就可能导致压力很大,吞吐也容易导致瓶颈. 有了分区后,假设一个topic可能分为10个分区,kafka内部会根据一定的算法把10分区尽可能均匀分布到不同的服务器上,比如:A服务器负责topic的分区1,B服务器负责topic的分区2,在此情况下,Producer发消息时若没指定发送到哪个分区的时候,kafka就会根据一定算法上个消息可能分区1,下个消息可能在分区2.当然高级API也能自己实现其分发算法.

顾莺鱼3140kafka spark 部署在一起么 -
湛治哑15710641008 ______ kafka的部署模式为3种模式 1)单broker模式 2)单机多broker模式 (伪集群) 3)多机多broker模式 (真正的集群模式)

顾莺鱼3140Spark Streaming场景应用用什么获取数据读取方式 -
湛治哑15710641008 ______ Receiver-based的Kafka读取方式是基于Kafka高阶(high-level) api来实现对Kafka数据的消费.在提交Spark Streaming任务后,Spark集群会划出指定的Receivers来专门、持续不断、异步读取Kafka的数据,读取时间间隔以及每次读取offsets范围可以由参数来配置.读取的数据保存在Receiver中,具体StorageLevel方式由用户指定,诸如MEMORY_ONLY等.当driver 触发batch任务的时候,Receivers中的数据会转移到剩余的Executors中去执行.在执行完之后,Receivers会相应更新ZooKeeper的offsets.

顾莺鱼3140kafkaspout消费过的数据怎么还消费 -
湛治哑15710641008 ______ 建议去看下这边帖子:http://blog.csdn.net/zollty/article/details/53958641 Kafka重复消费原因 底层根本原因:已经消费了数据,但是offset没提交.原因1:强行kill线程,导致消费后的数据,offset没有提交.原因2:设置offset为自动提交,关闭...