kafka消费者命令

淳狠乳3454为什么kafka consumer无法注册到zookeeper的consumers里 -
蓬廖送19411691173 ______ 因为0.9 之后的kafka使用了新的consumer API进行消费,配置bootstrap-server.旧API虽然兼容,但是会被逐渐取代.参照官方文档2.2 Consumer API As of the 0.9.0 release we have added a new Java consumer to replace our existing high-level ...

淳狠乳3454如何在Kafka上创建一个Topic -
蓬廖送19411691173 ______ 在运行/调试设置中,编辑配置对话框中有“Main”这个选项卡,我们可以勾选“Stop in main”这个复选框.如果选中,那么在调试一个基于main方法的Java程序时,程序会在main方法第一行位置便停止执行. 进入服务器后,找到kafka安装目录进入bin文件夹,输入命令--- 查看kafka现有主题命令:./kafka-topics.sh --list --zookeeper zk_host:port.

淳狠乳3454kafka的消费者组该怎么删除 -
蓬廖送19411691173 ______ 没有删除消费者的需求 除非队列迁移 因为我们消费者的group是固定的 如果你有这种需求的话 调用zk api删除就行了

淳狠乳3454如何用Java向kafka发送json数据 -
蓬廖送19411691173 ______ 发送json也可以看成字符串处理 We have 2 Options as listed below1) If we intend to send custom java objects to producer, We need to create a serializer which implements org.apache.kafka.common.serialization.Serializer and pass that Serializer ...

淳狠乳3454为什么是kafka -
蓬廖送19411691173 ______ 主要是为了数据的安全.因为分布式数据库相当于单独存在的个体,一旦发生意外也只影响到局部数据库.另外,当数据传送时,可以减轻中心服务器的压力.具体的看下面: 分布式数据库系统通常使用较小的计算机系统,每台计算机可单独放在一个地方

淳狠乳3454Spark直连消费Kafka数据,防止数据丢失问题. -
蓬廖送19411691173 ______ 除非你将处理后的数据结果储存在支持事物的数据库中,比如这样:开启事物 保存偏移量 保存处理结果 结束事物 在这里事物(原子性)保证了数据处理和偏移量保存的原子性 否则无法保证真正避免的数据重复消费或数据丢失.看你更倾向于是可接受重复消费或者数据丢失

淳狠乳3454rabbitmq与kafka到底用哪个好 -
蓬廖送19411691173 ______ Kafka和RabbitMq一样是通用意图消息代理,他们都是以分布式部署为目的.但是他们对消息语义模型的定义的假设是非常不同的.我对＂AMQP 更成熟＂这个论点是持怀疑态度的.让我们用事实说话来看看用什么解决方案来解决你的问题....

淳狠乳3454kafka 的实现依赖了哪些东西 -
蓬廖送19411691173 ______ 1. 通常来说,kafka的使用是为了消息的持久化(persistent messages)2. 吞吐量是kafka设计的主要目标3. 关于消费的状态被记录为consumer的一部分,而不是server.这点稍微解释下,这里的server还是只broker,谁消费了多少数据都记录在消费者自己手中,不存在broker中.按理说,消费记录也是一个日志,可以放在broker中,至于为什么要这么设计,我们写下去了再说.4. Kafka的分布式可以表现在producer、broker、consumer都可以分布在多台机器上.

淳狠乳3454java客户端使用kafka时什么情况下使用kafka client和spring kafka? -
蓬廖送19411691173 ______ spring-kafka 是基于 java版的 kafka client与spring的集成,提供了 KafkaTemplate,封装了各种方法,方便操作 所以你使用spring的情况下,可以用spring-kafka,当然直接用kafka client也行