网络异常大概分为如下几类： 网络不可达，主要现象为ping不通，其可能原因为： 源端和目的端防火墙（iptables, selinux）限制 网络路由配置不正确 源端和目的端的系统负载过高，网络连接数...

Windows Terminal 是 Microsoft 开源免费的一款终端工具，美观且实用。 下载安装 Terminal 可以直接在 Windows store 中下载，或者在 Github 中下载 Terminal。 安装完成后，点击 Win+R 输入&nb...

Azkaban处理工作流的方式涉及创建、定义、调度和执行工作流。 以下是Azkaban处理工作流的基本步骤： 1、创建工作流项目： 用户首先需要在Azkaban中创建一个工作流项目。工作流项目是一个逻辑容...

Kafka不基于内存，而是硬盘存储，因此消息堆积能力更强 顺序写：利用磁盘的顺序访问速度可以接近内存，kafka的消息都是append操作，partition是有序的， 节省了磁盘的寻道时间，同时通过批量操...

consumer group中的消费者与topic下的partion重新匹配的过程 何时会产生rebalance： consumer group中的成员个数发生变化 consumer消费超时 group订阅的topic个数发生变化 group订阅的topic的分...

/brokers/ids：临时节点，保存所有broker节点信息，存储broker的物理地址、版本信息、启动时间 等，节点名称为brokerID，broker定时发送心跳到zk，如果断开则该brokerID会被删除 /brokers/topic...

pull模式： 根据consumer的消费能力进行数据拉取，可以控制速率 可以批量拉取、也可以单条拉取 可以设置不同的提交方式，实现不同的传输语 缺点：如果kafka没有数据，会导致consumer空循环，消...

消息发送 ack=0，不重试 producer发送消息完，不管结果了，如果发送失败也就丢失了。 **ack=1，leader crash ** producer发送消息完，只等待lead写入成功就返回了，leader crash了，这时followe...