Apache BookKeeper 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Apache BookKeeper 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Apache BookKeeper 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache
开发语言 Java
操作系统 跨平台
软件类型 开源软件
开源组织 Apache
地区 不详
投 递 者 红薯
适用人群 未知
收录时间 2011-12-08

软件简介

Apache BookKeeper 是一个可以方便扩展,高可用,低延迟的存储系统。BookKeeper 专门为 append-only 的工作模式提供了优化,在以下的应用场景中非常适用:

  1. WAL (Write-Ahead-Logging), 例如 HDFS 的 NameNode 。

  2. 消息存储系统,例如 Apache Pulsar 。

  3. Offset/Cursor 存储系统,例如在 Apache Pulsar 中用来存储消息消费位置。

  4. Object/Blob Store 对象存储系统,例如存储状态机的 snapshots 。

Get Started

1, BookKeeper 的相关概念: 了解 BookKeeper 的基本概念和术语,可以作为一个开始,帮助你更好的深入了解 BookKeeper。

2,了解 BookKeeper 的安装和 setup 可以从这里开始,项目的文档中也包含 Docker,Kubenetes和DC/OS 的相关部署。

文档

1, 开发者 Developers 文档

如果你想使用更高级的log stream的API,可以通过这篇文章来了解怎样把ledgers变成一个连续的log stream。基于BookKeeper的子项目DistributedLog, 可以更方便的操作log stream。

2, BookKeeper 管理员 Administrators 文档

3, 代码贡献者 Contributors

参与到BookKeeper

1,有关于BookKeeper的问题或需要帮助

  • 订阅 或者 发邮件 到 user@bookkeeper.apache.org list, 这里不但可以请教问题,找到答案,还可以帮助其他的遇到同样问题的用户。 - Ask questions, find answers, and also help other users.

  • 订阅 或者 发邮件 到 dev@bookkeeper.apache.org list, 这里可以和BookKeeper的开发人员相互交流,加入技术讨论,提出新的想法或feature。

  • 加入Slack , 这里提供了最直接和快速的方式来和BookKeeper的committer和developer交流。

2, 为BookKeeper社区提供贡献

1) Report a Bug

通过开Github issue , 可以报告bug、 为现有代码提出改进意见或者对新的功能的要求。

2) 贡献代码

这里提供了开发人员的环境设置和需要的准备工作。

- 通过Github Issues了解BookKeeper正在进行的相关工作。

- 通过coding style 和现有的pull requests来了解相关的约定和惯例,也可以对PR提出review建议。

- 遵循contribution guide来提供你的修改。

3) 提供文档和网站的改进

开一个Github Issues;提供你的修改,然后通过这里了解怎样对网站和文档进行build来验证你的修改;最后提供你的修改pull request

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击加入讨论🔥(1) 发布并加入讨论🔥
发表了资讯
2021/09/03 13:33

祝贺 StreamNative 工程师张勇成功跻身 Apache BookKeeper Committer

关于 Apache BookKeeperApache BookKeeper 作为 Apache 软件基金会顶级项目,是一个优化实时工作负载的存储服务,旨在保证高持久性、一致性与低延迟等特性。BookKeeper 具备多种企业级存储平台功能,如支持持久、一致、容错地存储数据,有效地存储、访问历史数据与实时数据等,并广泛应用于多种业务场景,例如为分布式系统提供高可用性或多副本;在单个或多个集群间(多个数据中心)提供跨机器复制;为消息系统(如 Apache Pul...

3
1
发表于数据库专区
2021/02/27 07:21

Apache BookKeeper 4.13.0 发布

Apache BookKeeper 是一个可扩展、容错、低延迟的存储服务,针对实时工作负载进行了优化。它已被用作构建可靠服务的基础服务。它也是 Apache DistributedLog 的日志段存储和 Apache Pulsar 的消息存储。 4.13 版本提高了串流存储的可靠性,为串流存储和 Prometheus HTTP 服务器带来了额外的配置选项,修复了多个 bug,并将关键的依赖关系更新。 该版本的技术细节总结如下: 重点: 表服务可靠性改进 Rocksdb DLCheckpoint SST 文...

1
4
发表于运维专区
2019/11/17 07:46

Apache BookKeeper 4.10.0 发布,实时存储服务

Apache BookKeeper 4.10.0 发布了,BookKeeper 是一个针对实时工作负载优化的可扩展、容错和低延迟的存储服务,已作为基础存储服务被用于构建各种可靠的服务,同时也是 Apache DistributedLog 的日志段存储和 Apache Pulsar 的消息存储。 值得注意的更新内容: 添加新的 bkctl shell 工具 群集元数据检查器 日志应遵守 flushWhenQueueEmpty 设置 允许覆盖默认的 SASL 服务名称 “bookkeeper” 使默认 Bookie 脚本在 JDK11+ 上运...

1
7
发表于服务端专区
2018/12/09 06:25

Apache BookKeeper 4.7.3 发布,实时存储服务

Apache BookKeeper 4.7.3 发布了,这是当前的稳定版本。 BookKeeper 是一个针对实时工作负载优化的可扩展、容错和低延迟的存储服务,已作为基础存储服务被用于构建各种可靠的服务,同时也是 Apache DistributedLog 的日志段存储和 Apache Pulsar 的消息存储。 主要更新亮点如下: Cancel Scheduled SpeculativeReads, see apache/bookkeeper#1665 IllegalReferenceCountException at closing EntryLogManagerForSingleEntryLog...

0
8
发表于服务端专区
2018/12/02 07:34

Apache BookKeeper 4.8.1 发布,低延迟的存储系统

Apache BookKeeper 是一个针对实时工作负载优化的可扩展、高容错和低延迟的存储服务,已作为基础存储服务被用于构建各种可靠的服务,同时也是 Apache DistributedLog 的日志段存储和 Apache Pulsar 的消息存储。 Apache BookKeeper 4.8.1 已发布,更新亮点: Use default metrics registry in Prometheus exporter Don’t cache Bookie hostname DNS resolution forever Reduce stack traces in logs for common cases Ledger ...

0
6
发表于AI & 大数据专区
2018/09/08 07:15

Apache BookKeeper 4.7.2 发布,低延迟的存储系统

Apache BookKeeper 是一个针对实时工作负载优化的可扩展、高容错和低延迟的存储服务,已作为基础存储服务被用于构建各种可靠的服务,同时也是 Apache DistributedLog 的日志段存储和 Apache Pulsar 的消息存储。 Apache BookKeeper 4.7.2 已发布,这是一个 bug 修复版本,修复了 4.7.1 用户报告的一系列问题。更改包括围绕 DbLedgerStorage 的 bug 修复,以及一些整体上的失败处理 等等。 具体更新细节可查阅: https://bookke...

0
5
发表于AI & 大数据专区
2018/06/21 07:30

Apache BookKeeper 4.7.1 发布,低延迟的存储系统

Apache BookKeeper 是一个针对实时工作负载优化的可扩展、高容错和低延迟的存储服务,已作为基础存储服务被用于构建各种可靠的服务,同时也是 Apache DistributedLog 的日志段存储和 Apache Pulsar 的消息存储。 Apache BookKeeper 4.7.1 已发布,这是一个 bug 修复版本,修复了 4.7.0 用户报告的一系列问题。更改包括围绕 ledger 缓存和对象池的一些修复,性能改进以避免 memory copies ,以及各种 bug 修复和有关表服务的改进...

0
7
发表于服务端专区
2018/04/24 08:00

Apache BookKeeper 4.7.0 发布,低延迟的存储系统

Apache BookKeeper 是一个针对实时工作负载优化的可扩展、高容错和低延迟的存储服务,已作为基础存储服务被用于构建各种可靠的服务,同时也是 Apache DistributedLog 的日志段存储和 Apache Pulsar 的消息存储。 Apache BookKeeper 4.7.0 已发布,这是自上个主要版本 4.6.0 发布以来的又一个里程碑版本,包含数百项 BUG 修复、改进和特性。Yahoo 分支已完全合并到上游,而 Apache Pulsar(孵化)也将在其即将发布的 2.0 版本中使...

1
6
发表于开发技能专区
2018/02/01 07:54

Apache BookKeeper 4.6.1 发布

Apache BookKeeper 4.6.1 发布了。Apache BookKeeper 是 ZooKeeper 的子项目,由一个分布式日志服务(BookKeeper)和一个分布式发布和订阅系统(Hedwig)组成。 主要更新内容: Fix critical bug on index persistence manager Fix critical bug to allow using versions of Netty newer than 4.1.2 on classpath Enhance Java 9 compatibility New option to track task execution time Distribute a version of BookKeeper which ...

2
4
发表了资讯
2017/12/27 07:30

Apache BookKeeper 4.6.0 发布

Apache BookKeeper 4.6.0 发布了。Apache BookKeeper 是 ZooKeeper 的子项目,由一个分布式日志服务(BookKeeper)和一个分布式发布和订阅系统(Hedwig)组成。 此次更新覆盖一下领域: Dependencies Upgrade Bookie enhancement BookKeeper Admin REST API New BookKeeper API Performance improvement Deployment or Ease of use 依赖更新: Upgrade Protobuf to 3.4. Bookie 增强: Persistable bookie status. Introduce Booki...

1
10
发表了资讯
2017/08/12 07:51

Apache BookKeeper 4.5.0 发布

Apache BookKeeper 4.5.0 发布了。Apache BookKeeper 是 ZooKeeper 的子项目,由一个分布式日志服务(BookKeeper)和一个分布式发布和订阅系统(Hedwig)组成。 此次更新覆盖领域: Dependencies Upgrade Security Public API Performance Operations 依赖更新: Moved the developement from Java 7 to Java 8. Upgrade Protobuf to 2.6. Upgrade ZooKeeper from 3.4 to 3.5. Upgrade Netty to 4.1. Upgrade Guava to 20.0. Upgra...

4
21
发表了资讯
2015/12/02 00:00

Apache BookKeeper 4.3.2 发布

Apache BookKeeper 4.3.2 发布,该版本修复 bookies 相关的 bug, 例如处理登陆 log id ,fencing 状态和锁死登陆日志器压缩。完整更新内容请看: http://bookkeeper.apache.org/docs/r4.3.2/releaseNotes.html 下载地址: http://bookkeeper.apache.org/releases.html Apache BookKeeper 是 ZooKeeper 的子项目,由一个分布式日志服务(BookKeeper)和一个分布式发布和订阅系统(Hedwig)组成....

2
22
发表了资讯
2015/01/22 00:00

Apache BookKeeper 4.2.4 发布

Apache BookKeeper 是 ZooKeeper 的子项目,由一个分布式日志服务(BookKeeper)和一个分布式发布和订阅系统(Hedwig)组成. Apache BookKeeper 4.2.4 发布,这是 Apache BookKeeper 成为 Apache 顶级项目之后发布的第一个版本。 此版本包括修复了一些失效模式 ack quorum 小于 write quorum 的不一致问题。更多改进内容请看发行说明: http://bookkeeper.apache.org/docs/r4.2.4/releaseNotes.html 此版本现已提供下载: http://b...

1
15
发表了资讯
2013/02/28 00:00

Apache BookKeeper 4.2.1 发布

Apache BookKeeper 是 ZooKeeper 的子项目,由一个分布式日志服务(BookKeeper)和一个分布式发布和订阅系统(Hedwig)组成. Apache BookKeeper 4.2.1 修复了很多性能方面的问题,强烈建议升级。

0
6
发表了资讯
2013/01/20 00:00

Apache BookKeeper 4.2.0 发布

Apache BookKeeper 4.2.0 增加了一个新的总帐自动恢复机制、只读的赌注模式,改进了 Hedwig 的可伸缩性和消息过滤等等,完整的列表请看发行说明。 Apache BookKeeper 是 ZooKeeper 的子项目,由一个分布式日志服务(BookKeeper)和一个分布式发布和订阅系统(Hedwig)组成.

0
6
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
Async 安全漏洞
原型污染
Async是英国Caolan McMahon个人开发者的一个实用模块。用于使用异步 JavaScript。 Async 3.2.1 及之前版本存在安全漏洞,该漏洞源于 mapValues() 方法。攻击者可通过 mapValues() 方法获取权限。
CVE-2021-43138 MPS-2021-34434
2022-08-08 18:13
org.codehaus.plexus:plexus-utils 存在路径遍历漏洞
路径遍历
Codehaus Plexus 是 Apache Maven 使用的组件集合。此软件包的受影响版本容易受到目录遍历的影响。
MPS-2022-11760
2022-08-08 18:13
io.netty:netty-handler 存在证书验证不恰当漏洞
证书验证不恰当
io.netty:netty-handler 是一个提供异步事件驱动的网络应用程序框架和工具的库,用于快速开发可维护的高性能和高可扩展性协议服务器和客户端。换句话说,Netty 是一个 NIO 客户端服务器框架,可以快速轻松地开发协议服务器和客户端等网络应用程序。它极大地简化和流线了网络编程,例如 TCP 和 UDP 套接字服务器。此软件包的受影响版本容易受到不正确的证书验证的影响。在 Netty 4.1.x 中默认禁用证书主机名验证,这使得它可能容易受到中间人攻击。
MPS-2022-12067
2022-08-08 18:13
Jetty输入验证漏洞
密码学问题
Jetty是Eclipse基金会的一个自由和开源项目,是一个基于Java的Web服务器和Java Servlet容器。 Jetty在处理哈希表单张贴和更新哈希表单时,哈希生成函数中存在漏洞。攻击者可利用此漏洞通过在HTTP POST请求中发送特制的表单,造成哈希冲突,导致较高的CPU消耗。
CVE-2011-4461 MPS-2011-4130
2022-08-08 18:13
jackson-mapper-asl 代码问题漏洞
XXE
jackson-mapper-asl是一款基于Jackson JSON处理器构建的数据映射软件包。 jackson-mapper-asl 1.9.x版本中存在代码问题漏洞。远程攻击者可借助特制数据利用该漏洞获取敏感信息。
CVE-2019-10172 MPS-2019-15048
2022-08-08 18:13
Components trim 安全漏洞
拒绝服务
Components trim是Components团队的一个用于去除字符串两端空格的 Npm 代码库。 Service trim 所有版本存在安全漏洞,该漏洞源于容易受到通过trim()的正则表达式拒绝服务的攻击。
CVE-2020-7753 MPS-2020-14926
2022-08-08 18:13
Junit 信息泄露漏洞
关键资源的不正确权限授予
Junit是个人开发者的一个开放源代码的Java测试框架。 JUnit4 4.13.1之前版本存在信息泄露漏洞,该漏洞源于测试规则TemporaryFolder包含一个本地信息泄露漏洞。在类似Unix的系统中,系统的临时目录在该系统上的所有用户之间共享。因此,在将文件和目录写入此目录时,默认情况下,相同系统上的其他用户都可以读取它们。此漏洞不允许其他用户覆盖这些目录或文件的内容。这纯粹是一个信息披露的漏洞。如果JUnit测试编写了敏感信息,这个漏洞就会对您造成影响。
CVE-2020-15250 MPS-2020-15183
2022-08-08 18:13
Github json-smart-v1 缓冲区错误漏洞
跨界内存写
netplex json-smart是开源的一个JSON Java解析器。 在 JSON Smart 版本 1.3 和 2.4 中的 JSONParserByteArray 的 indexOf 函数中发现了一个漏洞,该漏洞通过精心设计的 Web 请求导致拒绝服务 (DOS)。
CVE-2021-31684 MPS-2021-7737
2022-08-08 18:13
css-what存在未明漏洞
css-what是一个CSS选择器解析器。 css-what 5.0.1之前版本存在安全漏洞,该漏洞源于css-what包并不能确保属性解析具有相对于输入大小的线性时间复杂度。目前没有详细漏洞细节提供。
CVE-2021-33587 MPS-2021-7397
2022-08-08 18:13
commons-codec:commons-codec 存在信息暴露漏洞
信息暴露
commons-codec:commons-codec 是一个包含各种格式(如 Base64 和 Hexadecimal)的简单编码器和解码器的包。此软件包的受影响版本容易受到信息泄露的影响。
MPS-2022-11853
2022-08-08 18:13
Connect2id Nimbus JOSE+JWT 存在对异常或异常情况的不当检查漏洞
对异常条件的处理不恰当
Connect2id Nimbus JOSE+JWT是Connect2id公司的一款基于Java的开源JWT(JSON Web Tokens)实现。 在受影响版本内,解析 JWT 时可能会抛出各种未捕获的异常。 攻击者通过此缺陷绕过身份认证。
CVE-2019-17195 MPS-2019-13154
2022-08-08 18:13
netplex json-smart-v 代码问题漏洞
对因果或异常条件的不恰当检查
netplex json-smart是开源的一个JSON Java解析器。 netplex json-smart-v1 through 2015-10-23 and json-smart-v2 through 2.4 存在代码问题漏洞,该漏洞源于如果没有捕获到异常,它可能会导致使用该库的程序崩溃或暴露敏感信息。
CVE-2021-27568 MPS-2021-2102
2022-08-08 18:13
org.codehaus.plexus:plexus-utils 存在XPath盲注漏洞
XPath盲注
org.codehaus.plexus:plexus-utils 是各种实用程序类的集合,可轻松处理字符串、文件、命令行、XML 等。此软件包的受影响版本容易受到 XML 外部实体 (XXE) 注入的攻击。
MPS-2022-11786
2022-08-08 18:13
Eclipse Jetty 输入验证不恰当漏洞
输入验证不恰当
Eclipse Jetty是Eclipse基金会的一个开源的、基于Java的Web服务器和Java Servlet容器。 Eclipse Jetty 存在安全漏洞,该漏洞源于无效的 URI 解析可能会产生无效的 HttpURI.authority。攻击者利用此漏洞会导致Proxy scenario失败。
CVE-2022-2047 MPS-2022-18060
2022-08-08 18:13
Apache Hadoop路径遍历漏洞
路径遍历
Apache Hadoop是美国阿帕奇(Apache)基金会的一套开源的分布式系统基础架构。该产品能够对大量数据进行分布式处理,并具有高可靠性、高扩展性、高容错性等特点。Apache Hadoop存在安全漏洞,该漏洞源于TAR条目可能会在指向外部目录的预期提取目录下创建符号链接,并使用符号链接名称将任意文件提取到外部目录中。攻击者可以利用该漏洞造成信息泄露。
CVE-2022-26612 MPS-2022-5920
2022-08-08 18:13
Hadoop 存在shell命令注入漏洞
命令注入
Hadoop 是一款分布式系统基础架构和开发开源软件。 由于 Hadoop 中 org.apache.hadoop.fs.FileUtill 类的 unTar 中针对 tar 文件的处理使用了系统命令去解压,造成了 shell 命令注入的风险。 攻击者可以通过该漏洞实现任意命令执行。
CVE-2022-25168 MPS-2022-6800
2022-08-08 18:13
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
1 评论
90 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部