ClickHouse

ClickHouse 是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS),其处理数据的速度比传统方法快100-1000倍。ClickHouse的性能超过了目前市场上可比的面向列的 DBMS,每秒钟...

ClickHouse由俄罗斯搜索引擎Yandex于2016年6月发布,开发语言为C++,ClickHouse是一个面向联机分析处理(OLAP)的开源的面向列式存储的DBMS,简称, 与Hadoop、Spark这些巨无霸组件相比,ClickHouse很轻量级,查询性能非常好,使用之后会被它的性能折服,非常值得安利。

ClickHouse适用场景

1.日志数据行为分析

2.标签画像的分析

3.数据集市分层

4.广告系统和实时竞价广告

5.电商和金融行业

6.实时监控和遥感测量

7.商业智能

8.在线游戏

9.信息安全

10.所有的互联网场景

ClickHouse特性

1.真正的列式数据库
2.数据压缩
3.数据的磁盘存储
4.多核并行处理
5.多服务器分布式处理(数据保存在不同的shard上,每一个shard都由一组用于容错的副本组成,可并行查询所有shard)
6.向量引擎(按列的一部分进行处理,高效实用CPU)
7.实时的数据更新(支持在表中定义主键,数据增量有序存储在mergeTree中)
8.索引(按照主键对数据进行排序,毫秒内完成对数据的查找)
9.适合在线查询
10.支持近似计算(允许牺牲精度的情况下低延迟查询)
11.支持数据复制和数据完整性(异步多主复制技术)

ClickHouse缺点

1.没有完整的事务支持
2.缺少高频率低延迟的修改或删除数据的能力
3.不适合通过其检索单行的点查询
4.联机事物处理
5.二进制数据或文件存储
6.键值对数据高效率访问请求

ClickHouse核心概念

1.表引擎(Engine)

表引擎决定了数据在文件系统中的存储方式,常用的也是官方推荐的存储引擎是MergeTree系列,如果需要数据副本的话可以使用ReplicatedMergeTree系列,相当于MergeTree的副本版本。读取集群数据需要使用分布式表引擎Distribute。

2.表分区(Partition)

表中的数据可以按照指定的字段分区存储,每个分区在文件系统中都是都以目录的形式存在。常用时间字段作为分区字段,数据量大的表可以按照小时分区,数据量小的表可以在按照天分区或者月分区,查询时,使用分区字段作为Where条件,可以有效的过滤掉大量非结果集数据。

3.分片(Shard)

一个分片本身就是ClickHouse一个实例节点,分片的本质就是为了提高查询效率,将一份全量的数据分成多份(片),从而降低单节点的数据扫描数量,提高查询性能。

4. 复制集(Replication)

简单理解就是相同的数据备份,在CK中通过复制集,我们实现保障了数据可靠性外,也通过多副本的方式,增加了CK查询的并发能力。这里一般有2种方式:(1)基于ZooKeeper的表复制方式;(2)基于Cluster的复制方式。由于我们推荐的数据写入方式本地表写入,禁止分布式表写入,所以我们的复制表只考虑ZooKeeper的表复制方案。

5.集群(Cluster)

可以使用多个ClickHouse实例组成一个集群,并统一对外提供服务。

相关导航