什么是HBase

Apache HBase 是一个开源的、非关系型、分布式的数据库，它以 Google 的 Bigtable 为模型，用 Java 编写。它是作为 Apache 软件基金会的 Apache Hadoop 项目的一部分开发的，运行在 HDFS（Hadoop 分布式文件系统）之上，为 Hadoop 提供了类似 Bigtable 的功能。HBase 的目标是托管非常大的表——数十亿行乘以数百万列——在商用硬件集群之上。当需要对大数据进行随机、实时的读/写访问时，可以使用 Apache HBase。

核心特性

• 线性和模块化可伸缩性: 可以通过增加节点来线性扩展。
• 严格一致的读写: 保证了操作的原子性和一致性。
• 自动和可配置的表分片: 当表变得过大时，HBase 会自动将其分片成更小的区域。
• RegionServer 之间的自动故障转移: 当 RegionServer 失败时，Master 会将它所服务的区域重新分配给其他可用的 RegionServer。
• 方便的 Java API: 提供易于使用的 Java API 进行客户端访问。
• 支持 MapReduce: 可以作为 Hadoop MapReduce 作业的输入和输出。
• 实时查询的块缓存和布隆过滤器: 通过块缓存和布隆过滤器优化查询性能。
• 服务器端过滤器: 通过查询谓词下推来优化性能。
• Thrift/REST 网关: 支持 XML、Protobuf 和二进制数据编码选项。
• 基于 JRuby 的 Shell (JIRB): 提供了一个可扩展的命令行工具。

Redis 限流器实现优化

背景

在高并发场景下，Redis 常被用于实现限流器。本文将介绍三种模式的实现，并分析它们的优缺点，最终提供基于 Redis 6.2 新特性的优化方案。

模式一：简单计数法

实现原理

1. 使用 INCR 对键进行递增操作。
2. 如果键的值超过限流阈值（如 10），则拒绝请求。
3. 使用 EXPIRE 设置键的过期时间。

代码示例

local current
current = redis.call("incr", KEYS[1])
if tonumber(current) > 10 then
    return "ERROR: too many requests per second"
else
    redis.call("expire", KEYS[1], 1)
    return "ALLOW: request accepted"
end

汇总比较

Redis可以存储键与5种不同数据结构类型之间的映射，包括STRING（字符串）、LIST（列表）、SET（集合）、HASH（散列）和ZSET（有序集合）。各个类型的详细能力如下：

1 简介

Redis(Remote Dictionary Server)是一个速度非常快的non-relational database(非关系型数据库， NoSQL)。Redis以字典(键值对)作为数据存储的关键基础结构，支持数据持久化，支持主从复制等多种数据库特性。

1.1 Redis vs 其他数据库

1. 概述

SCRIPT LOAD 是 Redis 提供的一种命令，用于将 Lua 脚本加载到 Redis 中并返回其 SHA1 哈希值。通过 EVALSHA 命令，可以使用该哈希值执行脚本，避免重复传输脚本内容，从而提高性能。

2. 核心功能

• 加载脚本：将 Lua 脚本加载到 Redis 中，返回 SHA1 哈希值。
• 执行脚本：通过 EVALSHA 使用 SHA1 哈希值执行脚本。
• 缓存脚本：加载的脚本会被 Redis 缓存，避免重复加载。