Pulsar 社区周报 | No.2024-03-29 Pulsar 全面拥抱 OpenTelemetry 标准

各位热爱 Pulsar 的小伙伴们，Pulsar 社区周报更新啦！这里将记录 Pulsar 社区每周的重要更新，周五发布。

Pulsar 逐步拥抱 OpenTelemetry 标准

OpenTelemetry 正在迅速成为指标度量的事实标准 API，这将有利于提升指标采集的扩展性，Pulsar 正在也在快速拥抱中。其中 PIP-264^[1] 讲述了服务端指标的迁移。本周 Release 的 PIP-342^[2] 将在 Pulsar 客户端中支持 OpenTelemetry 指标。

Pulsar Weekly Merge Stars

感谢以下的小伙伴，感谢你们本周为 Apache Pulsar 做的精彩贡献（排名不分先后）

Pulsar Weekly Merge Stars

@Shawyeok,@dependabot[bot],@crossoverJie,@lhotari,@nodece,@jianyun8023,@coderzc,@tmzk1005,@Technoboy-,@BewareMyPower,@liangyepianzhou,@dao-jun,@nicoloboschi,@doug-ba,@hanmz,@poorbarcode,@sherlock-lin,@merlimat

apache/pulsar

fix

• [fix][test] 解决 ManagedLedgerErrorsTest.recoverAfterZnodeVersionError 的不稳定性问题 ^[3] @lhotari
• [fix][broker]修复OpReadEntry.skipCondition NPE问题 ^[4] @Technoboy-
• [fix][broker]修复 PersistentTopic 类中的拼写错误 ^[5] @hanmz
• [fix][client]修复在按时间戳搜索后的可用消息和读取下一条消息的错误结果 ^[6] @BewareMyPower
• [fix][misc]使ConcurrentBitSet线程安全 ^[7] @lhotari
• [fix][cli]修复 CmdSinks 类中的拼写错误 ^[8] @hanmz
• [fix][broker][branch-2.10]快速修复由于错误的主题名称引起的无限HTTP调用getSubscriptions的问题 ^[9] @poorbarcode
• [fix][client]消费者由于在批量消息确认过程中出现竞争条件，导致丢失消息确认。^[10] @Shawyeok
• [fix][broker][branch-2.11]快速修复因错误的主题名称createSubscriptions而导致的无限HTTP调用问题。^[11] @poorbarcode
• [fix] [test]修复不稳定的测试ManagedLedgerTest.testGetNumberOfEntriesInStorage ^[12] @poorbarcode
• [fix][broker]修复 ResourceGroup 报告本地使用量 ^[13] @nodece
• [fix][ml] Expose ledger 时间戳 ^[14] @dao-jun
• [fix][broker]避免在检查未关闭的 ledgers 时出现过期的消息，不要按照Apache Pulsar的 ledgers 关闭时间来解释我的原文。^[15] @coderzc
• [fix] [broker]修复分发器消费者列表与分发器消费者集合不匹配 ^[16] @poorbarcode
• [fix] [broker]关闭调度程序，因为调度程序.consumerlList和调度程序.consumerSet之间不匹配导致卡住。^[17] @poorbarcode
• [fix]升级 /pulsar-function-go/examples 中的 google.golang.org/protobuf 版本，从 1.32.0 版本升级至 1.33.0 版本。^[18] @dependabot[bot]
• [fix][broker]dictionary检查光标状态后再将其添加到`waitingCursors`字典中。^[19] @Technoboy-
• [fix][broker]在当前 ledger 关闭后创建新的 ledger ^[20] @liangyepianzhou
• [fix][broker]修复 ResourceGroups 的加载修复加载 ResourceGroups ^[21] @nodece

新特性

• [improve][misc]升级至Netty 4.1.108和tcnative 2.0.65 ^[22] @lhotari
• [improve][broker]优化web界面deleteDynamicConfiguration返回错误消息 ^[23] @hanmz
• [improve][cli]PIP-343：在Pulsar函数中使用picocli而不是jcommander ^[24] @nodece
• [improve][misc]删除对sun InetAddressCachePolicy的调用 ^[25] @jianyun8023
• [improve][misc]包括 Netty 的原生 epoll 库为 arm64。^[26] @lhotari
• [improve][cli]PIP-343: 在pulsar-perf中使用picocli而不是jcommander ^[27] @crossoverJie
• [improve][cli]PIP-343：在bin/pulsar中使用picocli而不是jcommander。^[28] @nodece
• [improve] [pip]PIP-344 修正公共API的行为pulsarClient.getPartitionsForTopic(topicName)。^[29] @poorbarcode
• [improve]PIP 342：在Pulsar客户端中支持 OpenTelemetry 指标 ^[30] @merlimat

others

• [cleanup][broker]修复 PersistentSubscription 重复实现界面订阅接口 ^[31] @sherlock-lin
• [cleanup][cli]integration清理 jcommander 集成 ^[32] @nodece

apache/bookkeeper

others

• 改进发布说明生成 ^[33] @nicoloboschi
• 问题 4200：修复不稳定的测试 DeferredSyncTest.testForceWillAdvanceLacOnlyUpToLastAcknoledgedWrite ^[34] @tmzk1005
• 提升 org.apache.zookeeper:zookeeper 从 3.8.3 到 3.8.4 ^[35] @dependabot[bot]
• 升级/site3/website中的1.14.9至1.15.6上的 follow-redirects  ^[36] @dependabot[bot]

apache/pulsar-client-cpp

others

• 修正时间戳切换后 hasMessageAvailable 和 readNext 的错误结果 ^[37] @BewareMyPower
• 修复CodeQL报告的小问题 ^[38] @merlimat

apache/pulsar-client-python

others

• 添加Consumer的consumer_name() API ^[39] @BewareMyPower

apache/pulsar-helm-chart

others

• 在values.yaml中默认关闭 functions ^[40] @lhotari
• 添加在安装时显示的NOTES.txt文档 ^[41] @lhotari
• 保持job.ttl.enabled一致和有效，只在k8s >= 1.23时生效。^[42] @lhotari
• 开始是将 ReleaseIsInstall 固定为可选的初始任务开始时，将 ReleaseIsInstall 设置为可选项的初始作业。^[43] @doug-ba
• keyPulsar-manager 增加现有密钥的支持 ^[44] @doug-ba
• 为Apache Pulsar添加使用单独磁盘来存储zookeeper事务日志的能力。^[45] @doug-ba
• 使用 podManagementPolicy OrderedReady 适用于启用 Functions 时的 Broker sts ^[46] @lhotari

活动新闻

• 深圳线下 Meetup 倒计时，欢迎加 Pulsar Bot 咨询。
• 2024 年 5月 14 日：2024 Pulsar 欧洲虚拟峰会^[47]
• 2024 年 7 月 26-28 日：阿帕奇软件基金会亚洲大会（CommunityOverCode Asia 2024）Messaging 专题^[48]

联系我们

Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。GitHub 地址：http://github.com/apache/pulsar/

参考资料

[1]

PIP-264:https://github.com/apache/pulsar/blob/master/pip/pip-264.md

[2]

PIP-342:https://github.com/apache/pulsar/blob/master/pip/pip-342%20OTel%20client%20metrics%20support.md

[3]

[fix][test] 解决 ManagedLedgerErrorsTest.recoverAfterZnodeVersionError 的不稳定性问题  :https://github.com/apache/pulsar/pull/22368

[4]

[fix][broker]修复OpReadEntry.skipCondition NPE 问题 :https://github.com/apache/pulsar/pull/22367

[5]

[fix][broker]修复 PersistentTopic 类中的拼写错误 :https://github.com/apache/pulsar/pull/22364

[6]

[fix][client]修复在按时间戳搜索后的可用消息和读取下一条消息的错误结果 :https://github.com/apache/pulsar/pull/22363

[7]

[fix][misc]使ConcurrentBitSet线程安全 :https://github.com/apache/pulsar/pull/22361

[8]

[fix][cli]修复 CmdSinks 类中的拼写错误 :https://github.com/apache/pulsar/pull/22358

[9]

[fix][broker][branch-2.10]快速修复由于错误的主题名称引起的无限HTTP调用getSubscriptions的问题 :https://github.com/apache/pulsar/pull/22357

[10]

[fix][client]消费者由于在批量消息确认过程中出现竞争条件，导致丢失消息确认。:https://github.com/apache/pulsar/pull/22353

[11]

[fix][broker][branch-2.11]快速修复因错误的主题名称createSubscriptions而导致的无限HTTP调用问题。:https://github.com/apache/pulsar/pull/22346

[12]

[fix] [test]修复不稳定的测试ManagedLedgerTest.testGetNumberOfEntriesInStorage :https://github.com/apache/pulsar/pull/22344

[13]

[fix][broker]修复 ResourceGroup 报告本地使用量 :https://github.com/apache/pulsar/pull/22340

[14]

[fix][ml] Expose ledger 时间戳 :https://github.com/apache/pulsar/pull/22338

[15]

[fix][broker]避免在检查未关闭的 ledgers 时出现过期的消息，不要按照Apache Pulsar的 ledgers 关闭时间来解释我的原文。:https://github.com/apache/pulsar/pull/22335

[16]

[fix] [broker]修复分发器消费者列表与分发器消费者集合不匹配 :https://github.com/apache/pulsar/pull/22283

[17]

[fix] [broker]关闭调度程序，因为调度程序.consumerlList和调度程序.consumerSet之间不匹配导致卡住。:https://github.com/apache/pulsar/pull/22270

[18]

[fix]升级 /pulsar-function-go/examples 中的 google.golang.org/protobuf 版本，从 1.32.0 版本升级至 1.33.0 版本。:https://github.com/apache/pulsar/pull/22262

[19]

[fix][broker]dictionary检查光标状态后再将其添加到waitingCursors字典中。:https://github.com/apache/pulsar/pull/22191

[20]

[fix][broker]在当前 ledger 关闭后创建新的 ledger :https://github.com/apache/pulsar/pull/22034

[21]

[fix][broker]修复 ResourceGroups 的加载修复加载 ResourceGroups :https://github.com/apache/pulsar/pull/21781

[22]

[improve][misc]升级至Netty 4.1.108和tcnative 2.0.65 :https://github.com/apache/pulsar/pull/22369

[23]

[improve][broker]优化web界面deleteDynamicConfiguration返回错误消息 :https://github.com/apache/pulsar/pull/22356

[24]

[improve][cli]PIP-343：在Pulsar函数中使用picocli而不是jcommander :https://github.com/apache/pulsar/pull/22331

[25]

[improve][misc]删除对sun InetAddressCachePolicy的调用 :https://github.com/apache/pulsar/pull/22329

[26]

[improve][misc]包括 Netty 的原生 epoll 库为 arm64。:https://github.com/apache/pulsar/pull/22319

[27]

[improve][cli]PIP-343: 在pulsar-perf中使用picocli而不是jcommander :https://github.com/apache/pulsar/pull/22303

[28]

[improve][cli]PIP-343：在bin/pulsar中使用picocli而不是jcommander。:https://github.com/apache/pulsar/pull/22288

[29]

[improve] [pip]PIP-344 修正公共API的行为pulsarClient.getPartitionsForTopic(topicName)。:https://github.com/apache/pulsar/pull/22182

[30]

[improve]PIP 342：在Pulsar客户端中支持 OpenTelemetry 指标 :https://github.com/apache/pulsar/pull/22178

[31]

[cleanup][broker]修复 PersistentSubscription 重复实现界面订阅接口 :https://github.com/apache/pulsar/pull/22359

[32]

[cleanup][cli]integration清理 jcommander 集成 :https://github.com/apache/pulsar/pull/22337

[33]

改进发布说明生成 :https://github.com/apache/bookkeeper/pull/4250

[34]

问题 4200：修复不稳定的测试 DeferredSyncTest.testForceWillAdvanceLacOnlyUpToLastAcknoledgedWrite :https://github.com/apache/bookkeeper/pull/4234

[35]

提升 org.apache.zookeeper:zookeeper 从 3.8.3 到 3.8.4 :https://github.com/apache/bookkeeper/pull/4231

[36]

升级/site3/website中的1.14.9至1.15.6上的 follow-redirects  :https://github.com/apache/bookkeeper/pull/4230

[37]

修正时间戳切换后 hasMessageAvailable 和 readNext 的错误结果 :https://github.com/apache/pulsar-client-cpp/pull/422

[38]

修复CodeQL报告的小问题 :https://github.com/apache/pulsar-client-cpp/pull/421

[39]

添加Consumer的consumer_name() API :https://github.com/apache/pulsar-client-python/pull/206

[40]

在values.yaml中默认关闭 functions :https://github.com/apache/pulsar-helm-chart/pull/483

[41]

添加在安装时显示的NOTES.txt文档 :https://github.com/apache/pulsar-helm-chart/pull/482

[42]

保持job.ttl.enabled一致和有效，只在k8s >= 1.23时生效。:https://github.com/apache/pulsar-helm-chart/pull/481

[43]

开始是将 ReleaseIsInstall 固定为可选的初始任务开始时，将 ReleaseIsInstall 设置为可选项的初始作业。:https://github.com/apache/pulsar-helm-chart/pull/480

[44]

keyPulsar-manager 增加现有密钥的支持 :https://github.com/apache/pulsar-helm-chart/pull/478

[45]

为Apache Pulsar添加使用单独磁盘来存储zookeeper事务日志的能力。:https://github.com/apache/pulsar-helm-chart/pull/476

[46]

使用 podManagementPolicy OrderedReady 适用于启用 Functions 时的 Broker sts :https://github.com/apache/pulsar-helm-chart/pull/474

[47]

Pulsar Virtual Summit Europe 2024:https://sessionize.com/pulsar-virtual-summit-europe-2024

[48]

CommunityOverCode Asia 2024 议题征集正式启动！:https://mp.weixin.qq.com/s/byAbsKwC7XofWwxGBiylCw