|
8 månader sedan | ||
---|---|---|---|
.github/workflows | 删除 | 2 år sedan | |
benchmarks | 删除 | 2 år sedan | |
cmake | 删除 | 5 år sedan | |
db | 删除 | 8 månader sedan | |
doc | 删除 | 3 år sedan | |
helpers/memenv | 删除 | 3 år sedan | |
image | 删除 | 9 månader sedan | |
include/leveldb | 删除 | 8 månader sedan | |
issues | 删除 | 3 år sedan | |
port | 删除 | 2 år sedan | |
table | 删除 | 2 år sedan | |
test | 删除 | 8 månader sedan | |
third_party | 删除 | 2 år sedan | |
util | 删除 | 2 år sedan | |
.clang-format | 6 år sedan | ||
.gitignore | 10 månader sedan | ||
.gitmodules | 4 år sedan | ||
AUTHORS | 12 år sedan | ||
CMakeLists.txt | 8 månader sedan | ||
CONTRIBUTING.md | 3 år sedan | ||
LICENSE | 14 år sedan | ||
NEWS | 14 år sedan | ||
README.md | 9 månader sedan | ||
TODO | 13 år sedan |
**项目背景:**LevelDB 项目的 KV 键值对存储信息单一;LSM-Tree 读写放大开销大,导致 LevelDB 顺序范围查询时的数据吞吐量随 Value 大小增加而急剧下降。
Field
: field_name: field_value
;Fields
来操作字段数组,与字段相关的字段截取、读写操作、序列化等函数均在 Fields
类中实现;FindKeysByField
,传入若干字段名和字段值(即子字段数组),遍历查找 LSM-Tree 找到对应的若干 key。<key, <fileno, offset>>
的形式;小 value 则与原 LevelDB SSTable 中 KV 键值对存储格式相同;offset
和 vLog 的编号 fileno
,将 <key, <fileno, offset>>
写入 WAL 和 Memtable 中;<fileno, offset>
到 LSM-Tree 中;Field
& FieldArray
:
using Field = std::pair<std::string, std::string>;
using FieldArray = std::vector<std::pair<std::string, std::string>>;
class Fields
,用于操作字段数组。class Fields
class Fields {
private:
FieldArray fields_;
public:
/* 从 FieldArray 构造 */
explicit Fields(const FieldArray& fields);
/* 从单个 Field 构造 */
explicit Fields(const Field& field);
/* 只传参 field_name 数组的构造 */
explicit Fields(const std::vector<std::string>& field_names);
Fields() = default;
~Fields() = default;
/* 根据 field_name 从小到大进行排序,减少通过 field_name 遍历 Fields 的耗时 */
void SortFields();
/* 更新/插入单个字段值,插入后会进行 Fields 排序,减少通过 field_name 遍历 Fields 的耗时 */
void UpdateField(const std::string& field_name, const std::string& field_value);
void UpdateField(const Field& field);
/* 更新/插入多个字段值 */
void UpdateFields(const std::vector<std::string>& field_names, const std::vector<std::string>& field_values);
void UpdateFields(const FieldArray& fields);
/* 删除单个字段 */
void DeleteField(const std::string& field_name);
/* 删除多个字段 */
void DeleteFields(const std::vector<std::string>& field_names);
/* 序列化 Field 或 FieldArray 为 value 字符串 */
/* static 修饰的函数序列化/反序列化无需访问一个 Fields 对象的 fields_ */
static std::string SerializeValue(const FieldArray& fields);
static std::string SerializeValue(const Field& field);
std::string SerializeValue() const;
/* 反序列化 value 字符串为 Fields */
static Fields ParseValue(const std::string& value_str);
/* 获取字段 */
Field GetField(const std::string& field_name) const;
/* 检查字段是否存在 */
bool HasField(const std::string& field_name) const;
/* 重载运算符 [] 用于访问字段值 */
std::string operator[](const std::string& field_name) const;
/* 重载运算符 [] 用于修改字段值 */
std::string& operator[](const std::string& field_name);
/* 通过若干个字段查询 Key */
static std::vector<std::string> FindKeysByFields(leveldb::DB* db, const FieldArray& fields);
};
大 value 的 key 对应的 value 存储位置:VPtr
struct VPtr {
int fileno; // VLog 文件号
uint64_t offset; // 偏移量
};
class VLog
class VLog {
private:
// 该 VLog 是否活跃,即可插值
bool activate_;
// 最大 VLog 大小
std::size_t maxSize_;
// GC 计数器
std::size_t deadkeyCount;
public:
// 构造函数,默认赋值 GC 计数器为 GC 触发的最大阈值
VLog(bool activate, std::size_t maxSize, std::size_t gcThreshold)
: activate_(activate), maxSize_(maxSize), deadkeyCount(gcThreshold) {}
// 向 VLog 中添加一个新的键值对
virtual void append(const std::string& key, const std::string& value) = 0;
// 查找给定键对应的值
virtual VPtr lookup(const std::string& key) const = 0;
// 执行垃圾回收操作
virtual void GarbageCollection() = 0;
virtual ~VLog() {}
};
FieldArray
、反序列化解析 value ;)VPtr
找到 VLog 中正确的 value;VPtr
。功能 | 预计完成日期 | 分工 |
---|---|---|
Fields 类和相关接口实现 | 12月3日 | 朱维清、谷杰 |
测试实现字段功能 | 12月5日 | 谷杰 |
VLog 类和相关接口实现 | 12月15日 | 朱维清、谷杰 |
测试实现 KV 分离 | 12月19日 | 朱维清 |
Benchmark 测试(吞吐量、写放大、点查范围查) | 12月26日 | 谷杰 |
Benchmark 测试(GC 开销、大小数据集、并发) | 12月26日 | 朱维清 |