为什么 kafka 会在生产消息时可能丢数据，kafka 不是基于 tcp 协议的吗，又为什么消费者拉数据则不会丢数据呢，知乎同问，求大佬解答 https://www.zhihu.com/question/502982361
This topic created in 1524 days ago, the information mentioned may be changed or developed.
 |
falsemaskSep 6, 2022
1
1.生产者的消息不是立即写到磁盘里的，是写到操作系统的 buffer 里，操作系统会定期刷盘
2.多节点的情况下，ack 不是-1 ，写入主节点之后如果发生选举，也会导致丢数据 |
 |
tonymuaSep 7, 2022
2
https://juejin.cn/post/7135101805179961352 这个写的挺简洁明了的
|
 |
ZnemoOct 3, 2022
3
这和是否使用 tcp 协议没关系，这里说的消息丢失不是丢在网络链路里了，而是在复杂的分布式环境中为了保障高可用而出现的问题，1 楼说的就是基于此种原因造成的问题。另外，还有可能是配置问题，比如消息体大小超过了 Kafka 的限定而导致消息拒收。
|
 |
4
@Znemo 也就是应用层的丢消息，这样理解对吗?也就是 tcp 能保证数据能够传输到目标主机的网卡里，但是并不保证后续的数据是不是被应用层读取，这么理解对吗
|
Select Language