kafka集群原理

苍锦歪892如何为Kafka集群选择合适的Partitions数量 -
游贤茗19777175942 ______ 如何决定kafka集群中topic,partition的数量,这是许多kafka用户经常遇到的问题.本文列举阐述几个重要的决定因素,以提供一些参考.分区多吞吐量更高 一个话题topic的各个分区partiton之间是并行的.在producer和broker方面,写不同的分区...

苍锦歪892如何为Kafka集群选择合适的Topics/Partitions数量 -
游贤茗19777175942 ______ 首先我们需要明白以下事实:在kafka中,单个patition是kafka并行操作的最小单元.在producer和broker端,向每一个分区写入数据是可以完全并行化的,此时,可以通过加大硬件资源的利用率来提升系统的吞吐量,例如对数据进行压缩.在...

苍锦歪892kafka集群是同时运行吗 -
游贤茗19777175942 ______ kafka 基于zookeeper 的,启动时每台机器的kafka zk 都要启动

苍锦歪892java客户端使用kafka时什么情况下使用kafka client和spring kafka? -
游贤茗19777175942 ______ spring-kafka 是基于 java版的 kafka client与spring的集成,提供了 KafkaTemplate,封装了各种方法,方便操作 所以你使用spring的情况下,可以用spring-kafka,当然直接用kafka client也行

苍锦歪892java kafka 怎么传输对象 -
游贤茗19777175942 ______ 1.zookeeper集群 搭建在110, 111,112 2.kafka使用3个节点110, 111,112 修改配置文件config/server.properties broker.id=110 host.name=192.168.1.110 log.dirs=/usr/local/kafka_2.10-0.8.2.0/logs 复制到其他两个节点,然后修改对应节点上的config...

苍锦歪892kafka有多个分区,但数据只发到一个分区 -
游贤茗19777175942 ______ 是不是没分好

苍锦歪892kafka 的实现依赖了哪些东西 -
游贤茗19777175942 ______ 1. 通常来说,kafka的使用是为了消息的持久化(persistent messages)2. 吞吐量是kafka设计的主要目标3. 关于消费的状态被记录为consumer的一部分,而不是server.这点稍微解释下,这里的server还是只broker,谁消费了多少数据都记录在消费者自己手中,不存在broker中.按理说,消费记录也是一个日志,可以放在broker中,至于为什么要这么设计,我们写下去了再说.4. Kafka的分布式可以表现在producer、broker、consumer都可以分布在多台机器上.

苍锦歪892Kafka和mqtt可以互相替代吗?物联网必须用mqtt吗?用kafka行吗? -
游贤茗19777175942 ______ 两者虽然都是从传统的Pub/Sub消息系统演化出来的,但是进化的方向不一样,以下是几个比较突出的点:Kafka是为了日志收集的场景,抛弃exact once的语义而支持at least once以便得到更高的可扩展性.MQTT是为了物联网场景而优化,不但提供多个QoS选项(exact once、at least once、at most once),而且还有层级主题、遗嘱等等特性.说白了都是传统消息系统(老爸)的子嗣,只是与不同的场景(老妈)结合的产物.

苍锦歪892kafka manager怎么看数据在哪个分区上 -
游贤茗19777175942 ______ 若没有分区,一个topic对应的消息集在分布式集群服务组中,就会分布不均匀,即可能导致某台服务器A记录当前topic的消息集很多,若此topic的消息压力很大的情况下,服务器A就可能导致压力很大,吞吐也容易导致瓶颈. 有了分区后,假设一个topic可能分为10个分区,kafka内部会根据一定的算法把10分区尽可能均匀分布到不同的服务器上,比如:A服务器负责topic的分区1,B服务器负责topic的分区2,在此情况下,Producer发消息时若没指定发送到哪个分区的时候,kafka就会根据一定算法上个消息可能分区1,下个消息可能在分区2.当然高级API也能自己实现其分发算法.