|-转 apache 开源项目全家桶 2020年12月中文介绍
apache项目全家桶
很多apache开源项目特别好,但是没什么能汇总的文档,我来整一个,不定期更新
big-data (50):
Project Apache Accumulo
star :838
github https://github.com/apache/accumulo
Apache Accumulo 是一个可靠的、可伸缩的、高性能的排序分布式的 Key-Value 存储解决方案,基于单元访问控制以及可定制的服务器端处理。使用 Google BigTable 设计思路,基于Apache Hadoop、Zookeeper和Thrift构建。
Project Apache Airavata
Airavata [1] 是目前用来建立科学网关的软件工具包,但具有更广泛的潜在用途。它提供的功能组成,管理,执行和监测小范围从本地集群,以国家电网和云计算的计算资源进行大规模的应用和工作流程。小工具接口,Airavata后端服务可以部署在开放社会的容器,如Apache Rave 和修改,以满足他们的需求。 airavata构建面向服务的计算,分布式消息,和工作流程的组成和业务流程的一般概念。
Project Apache Ambari
Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。
Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。
Project Apache Apex (in the Attic)
Project Apache Avro
Avro(读音类似于[ævrə])是Hadoop的一个子项目,由Hadoop的 创始人Doug Cutting(也是Lucene,Nutch等项目的创始人)牵头开发。Avro是一个数据序列化系统,设计用于支持大 批量数据交换的应用。它的主要特点有:支持二进制序列化方式,可以便捷,快速地处理大量数据;动态语言友好,Avro提供的机制使动态语言可以方便地处理 Avro数据。
Project Apache Beam
Apache Beam 是 Apache 软件基金会越来越多的数据流项目中最新增添的成员,是 Google 在2016年2月份贡献给 Apache 基金会的孵化项目。
这个项目的名称表明了设计:结合了批处理(Batch)模式和数据流(Stream)处理模式。它基于一种统一模式,用于定义和执行数据并行处理管道(pipeline),这些管理随带一套针对特定语言的SDK用于构建管道,以及针对特定运行时环境的Runner用于执行管道。
Project Apache Bigtop
Bigtop 是一个 Apache Hadoop 生态系统的开发、打包和测试系统。
其主要目的是建立社区驱动的 Hadoop 相关项目的交互性测试。
Project Apache BookKeeper
Apache BookKeeper 是一个可以方便扩展,高可用,低延迟的存储系统。BookKeeper 专门为 append-only 的工作模式提供了优化,在以下的应用场景中非常适用:
WAL (Write-Ahead-Logging), 例如 HDFS 的 NameNode 。
消息存储系统,例如 Apache Pulsar 。
Offset/Cursor 存储系统,例如在 Apache Pulsar 中用来存储消息消费位置。
Object/Blob Store 对象存储系统,例如存储状态机的 snapshots 。
Project Apache Calcite
Apache Calcite 是一个动态数据管理框架,用于 Hadoop 平台。
Project Apache Camel
Apache Camel 是一个非常强大的基于规则的路由以及媒介引擎,该引擎提供了一个基于POJO的 企业应用模式(Enterprise Integration Patterns)的实现,你可以采用其异常强大且十分易用的API (可以说是一种Java的领域定义语言 Domain Specific Language)来配置其路由或者中介的规则。 通过这种领域定义语言,你可以在你的IDE中用简单的Java Code就可以写出一个类型安全并具有一定智能的规则描述文件。这与那种复杂的XML配置相比极大简化了规则定义开发。 当然Apache Camel也提供了一个对Spring 配置文件的支持。
Apache Camel 采用URI来描述各种组件,这样你可以很方便地与各种传输或者消息模块进行交互,其中包含的模块有 HTTP, ActiveMQ, JMS, JBI, SCA, MINA or CXF Bus API。 这些模块是采用可插拔的方式进行工作的。Apache Camel的核心十分小巧你可以很容易地将其集成在各种Java应用中。
Project Apache CarbonData
Apache® CarbonData™是由华为开源贡献的大数据高效存储格式解决方案。针对当前大数据领域分析场景需求各异而导致的存储冗余问题,CarbonData提供了一种新的融合数据存储方案,以一份数据同时支持“交互式分析、详单查询、任意维度组合的过滤查询等”多种大数据应用场景,并通过丰富的索引技术、字典编码、列存等特性提升了IO扫描和计算性能,实现百亿数据级秒级响应,与大数据生态Apache Hadoop、Apache Spark等无缝集成。...