|
|
|
@ -45,7 +45,7 @@ |
|
|
|
4. 函数 FindKeysByField 根据传入的字段名和字段的值找到对应的key。 |
|
|
|
### 2.1.3 实验进度以及实验结果 |
|
|
|
#### 实验进度 |
|
|
|
已初步实现上述四个函数，查询函数 FindKeysByField 后续会进行优化和完善。 |
|
|
|
已初步实现上述四个函数，后续会对查询函数 FindKeysByField 进行优化和完善，并将上述函数添加到 LevelDB 的代码之中。 |
|
|
|
#### 实验结果 |
|
|
|
通过测试 |
|
|
|
|
|
|
|
@ -65,9 +65,12 @@ |
|
|
|
|
|
|
|
### 3. 数据结构设计 |
|
|
|
`key的格式：| key | vlog_page_slot | ` |
|
|
|
`vlog_page: | slot0:{vlog_no, offset}, slot1:{vlog_no, offset}, ... | ` |
|
|
|
|
|
|
|
对于每一次读取，用户线程先读取lsm tree中key的slot下标，然后到vlog_page中读取对应的slot内容(**每一个slot都是定长的**)，之后再在这个slot中读取value所在的vlog文件号和偏移量offset，之后到对应的vlog文件中读取value。 |
|
|
|
`vlog_page: | slot0:{vlog_no(定长), offset(定长)}, slot1:{vlog_no, offset}, ... | ` |
|
|
|
|
|
|
|
`value 的格式：| attr个数(定长) | attr1_name的长度(定长) | attr1_name(变长) | attr1_value的长度(定长) | attr1_value(变长) | ... |` |
|
|
|
|
|
|
|
对于每一次读取，用户线程先读取lsm tree中key的vlog_page_slot下标，然后到vlog_page中读取对应的slot内容(**每一个slot都是定长的**)，之后再在这个slot中读取value所在的vlog文件号和偏移量offset，之后到对应的vlog文件中读取value。 |
|
|
|
|
|
|
|
但是这又带来了一个问题，我们该如何管理vlog_page这个文件？当插入新的kv时，我们需要在这个vlog_page中分配新的slot，在GC删除某个kv时，我们需要将对应的slot进行释放。这里我们选择在内存中维护一个可线性扩展的bitmap。这个bitmap中每一个bit标识了当前vlog_page文件中对应slot是否被使用，是为1，不是为0。这样一来，在插入新kv时，我们可以用bitmap来分配一个新的slot（将bitmap中第一个为0的bit设置为1），将内容进行写入；在GC删除某个kv时，我们将这个slot对应的bitmap中的bit重置为0即可。 |
|
|
|
|
|
|
|
@ -98,8 +101,14 @@ |
|
|
|
|
|
|
|
**输出：** 包含该字段和字段数组的 key,由于可能不只有一个，所以返回值为 vector |
|
|
|
|
|
|
|
4. Put_Fields |
|
|
|
5. Get_Fields |
|
|
|
4. Put_Fields (待实现) |
|
|
|
|
|
|
|
**功能：** 仿照Status DB::Put(const WriteOptions& opt, const Slice& key, const Slice& value)，通过调用序列化函数，实现以字段形式插入 value |
|
|
|
|
|
|
|
**输入：** 数据库名，字段名和字段的值 |
|
|
|
|
|
|
|
**输出：** 包含该字段和字段数组的 key,由于可能不只有一个，所以返回值为 vector |
|
|
|
5. Get_Fields (待实现) |
|
|
|
#### 4.2 实现KV分离 |
|
|
|
这里只展示和vlog以及GC无关的接口，vlog的创建，管理以及后台线程的GC设计到vlog等新数据结构的实现，较为复杂和庞大，这里不做展示。我们只列出与kv的插入有关的新接口： |
|
|
|
1. 搜索vlog_page文件: Status find_slot(const Slice& key, Slot *slot); |
|
|
|
@ -111,6 +120,9 @@ |
|
|
|
|
|
|
|
### 5. 功能测试 |
|
|
|
### 5.1 在 LevelDB 的 value 中实现字段功能 |
|
|
|
#### 5.1.1 功能测试 |
|
|
|
1. 能否以字段形式插入并读取数据 |
|
|
|
2. 能否以通过字段值查询对应的 key |
|
|
|
```` |
|
|
|
Status OpenDB(std::string dbName, DB **db) { |
|
|
|
Options options; |
|
|
|
@ -129,21 +141,28 @@ TEST(TestSchema, Basic) { |
|
|
|
std::string key1 = "k_1"; |
|
|
|
std::string key2 = "k_2"; |
|
|
|
FieldArray fields1 = { |
|
|
|
{"name", "Customer#000000001"}, |
|
|
|
{"name", "Customer1"}, |
|
|
|
{"address", "IVhzIApeRb"}, |
|
|
|
{"phone", "25-989-741-2988"} |
|
|
|
}; |
|
|
|
|
|
|
|
FieldArray fields2 = { |
|
|
|
{"name", "Customer#000000001"}, |
|
|
|
{"name", "Customer1"}, |
|
|
|
{"address", "ecnu"}, |
|
|
|
{"phone", "123456789"} |
|
|
|
}; |
|
|
|
FieldArray fields3 = { |
|
|
|
{"name", "Customer2"}, |
|
|
|
{"address", "ecnu"}, |
|
|
|
{"phone", "111111111"} |
|
|
|
}; |
|
|
|
// 序列化并插入 |
|
|
|
std::string value1 = SerializeValue(fields1); |
|
|
|
std::string value2 = SerializeValue(fields2); |
|
|
|
std::string value3 = SerializeValue(fields3); |
|
|
|
db->Put(leveldb::WriteOptions(), key1, value1); |
|
|
|
db->Put(leveldb::WriteOptions(), key2, value2); |
|
|
|
db->Put(leveldb::WriteOptions(), key2, value3); |
|
|
|
|
|
|
|
// 读取并反序列化 |
|
|
|
std::string value_ret; |
|
|
|
@ -158,10 +177,9 @@ TEST(TestSchema, Basic) { |
|
|
|
} |
|
|
|
|
|
|
|
// 测试查找功能 |
|
|
|
Field query_field = {"name", "Customer#000000001"}; |
|
|
|
Field query_field = {"name", "Customer2"}; |
|
|
|
std::vector<std::string> found_keys = FindKeysByField(db, query_field); |
|
|
|
std::cout << "找到的key有：" << found_keys.size() << "个" << std::endl; |
|
|
|
ASSERT_EQ(found_keys[0], key1); |
|
|
|
|
|
|
|
// 关闭数据库 |
|
|
|
delete db; |
|
|
|
@ -172,11 +190,18 @@ int main(int argc, char **argv) { |
|
|
|
return RUN_ALL_TESTS(); |
|
|
|
} |
|
|
|
```` |
|
|
|
#### 5.1.2 测试结果 |
|
|
|
插入三条数据，name 字段分别为： Customer1, Customer1, Customer2 |
|
|
|
|
|
|
|
先根据 "name":"customer1"查找，结果为： |
|
|
|
 |
|
|
|
|
|
|
|
在根据"name":"customer2"查找，结果为： |
|
|
|
 |
|
|
|
### 5.2 |
|
|
|
单元测试: |
|
|
|
1. 测试插入后，是否能读取成功。 |
|
|
|
2. 测试插入超过初始vlog_page等slot数量之后，是否还能正常插入，检查vlog_page文件等线性可扩展性 |
|
|
|
3. 测试插入后，进行删除，等待GC完成后再读取value和vlog的大小，看看GC过程是否正常进行。 |
|
|
|
1. 测试插入超过初始vlog_page等slot数量之后，是否还能正常插入，检查vlog_page文件等线性可扩展性 |
|
|
|
2. 测试插入后，进行删除，等待GC完成后再读取value和vlog的大小，看看GC过程是否正常进行。 |
|
|
|
|
|
|
|
性能测试: |
|
|
|
1. 测试插入的吞吐 |
|
|
|
@ -189,14 +214,16 @@ int main(int argc, char **argv) { |
|
|
|
|
|
|
|
#### 7. 分工和进度安排 |
|
|
|
|
|
|
|
| 功能 | 完成日期 | 分工 | 是否完成 | |
|
|
|
|--------------|--------|--------|------| |
|
|
|
| 实现字段设计并通过测试 | 12.8 | 王雪飞 | 已完成 | |
|
|
|
| vlog中value的存储格式 | 12.8 | 王雪飞 | |
|
|
|
| vlog_page实现 | 12.8 | 马也驰 | |
|
|
|
| vlog的GC实现 | 12.29 | 马也驰 | |
|
|
|
| 性能测试 | 1.5 | 王雪飞 | |
|
|
|
| 功能测试 | 1.5 | 马也驰 | |
|
|
|
| 功能 | 完成日期 | 分工 | |
|
|
|
|----------------------|-------|------| |
|
|
|
| Field相关接口实现 | 12.8 | 王雪飞 | |
|
|
|
| value_log中value的存储格式 | 12.8 | 王雪飞 | |
|
|
|
| vlog_page 相关接口 | 12.8 | 马也驰 | |
|
|
|
| vlog_page实现 | 12.8 | 马也驰 | |
|
|
|
| 修改leveldb的接口实现字段功能 | 12.17 | 王雪飞 | |
|
|
|
| vlog的GC实现 | 12.29 | 马也驰 | |
|
|
|
| 性能测试 | 1.5 | 王雪飞 | |
|
|
|
| 功能测试 | 1.5 | 马也驰 | |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
