kafka+zookeeper
禄独素3927如何在Kafka上创建一个Topic -
施览姿19545108336 ______ Kafka创建Topic步骤: 进入服务器找kafka安装目录进入bin文件夹输入命令--- 查看kafka现主题命令:/kafka-topics.sh --list --zookeeper zk_host:port 望采
禄独素3927kafka 0.9版本的consumer为什么不再配置zookeeper.connector -
施览姿19545108336 ______ 因为0.9 之后的kafka使用了新的consumer API进行消费,配置bootstrap-server.旧API虽然兼容,但是会被逐渐取代. 参照官方文档 2.2 Consumer API As of the 0.9.0 release we have added a new Java consumer to replace our ...
禄独素3927kafka自带zookeeper的日志能删除吗 -
施览姿19545108336 ______ 1. 删除logs下的相关记录;2. 到zookeeper下的brokers/topics删除相关节点.--------------不好用!!先逻辑删除(./bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic dnsTopic --zookeeper 10.0.1.44:2181,10.0.1.45:2181,10.0.1.46:...
禄独素3927kafka消费者java版本读取不到消息怎么办 -
施览姿19545108336 ______ 3. 启动服务3.1 启动zookeeper 启动zk有两种方式,第一种是使用kafka自己带的一个zk.bin/zookeeper-server-start.sh config/zookeeper.properties& 另一种是使用其它的zookeeper,可以位于本机也可以位于其它地址.这种情况需要修改config下...
禄独素3927driect方式的sparkstreaming kafka需要zookeeper吗 -
施览姿19545108336 ______ driect方式的sparkstreaming kafka需要zookeeper KafkaUtils.createDstream 构造函数为KafkaUtils.createDstream(ssc, [zk], [consumer group id], [per-topic,partitions] ) 使用了receivers来接收数据,利用的是Kafka高层次的消费者api,对于所有的...
禄独素3927kafka+spark+redis可否用来构建实时推荐引擎 -
施览姿19545108336 ______ 前面应该还有个数据生产者,比如flume.flume负责生产数据,发送至kafka.spark streaming作为消费者,实时的从kafka中获取数据进行计算.计算结果保存至redis,供实时推荐...
禄独素3927谁整过sparkstreaming消费kafka低阶api时,如何同步offset到zookeeper -
施览姿19545108336 ______ 解决的方法是:分别从Kafka中获得某个Topic当前每个partition的offset,再从Zookeeper中获得某个consumer消费当前Topic中每个partition的offset,最后再这两个根据项目情况进行合并,就可以了.一、具体实现1、程序实现,如下:public ...
禄独素3927Zookeeper - Zookeeper可以干什么 -
施览姿19545108336 ______ 在Zookeeper的官 网上有这么一句话:ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services. 这大概描述了Zookeeper主要可以干哪些事情:配置...
禄独素3927java客户端使用kafka时什么情况下使用kafka client和spring kafka? -
施览姿19545108336 ______ spring-kafka 是基于 java版的 kafka client与spring的集成,提供了 KafkaTemplate,封装了各种方法,方便操作 所以你使用spring的情况下,可以用spring-kafka,当然直接用kafka client也行
禄独素3927如何写java程序代码测试kafka -
施览姿19545108336 ______ 我这里是使用的是,kafka自带的zookeeper.以及关于kafka的日志文件啊,都放在默认里即/tmp下,我没修改.保存默认的1、 [hadoop@sparksinglenode kafka_2.10-0.8.1.1]$ jps2625 Jps2、 [hadoop@sparksinglenode kafka_2.10-0.8.1.1]$ ...