diff --git a/pic/test_field_1.png b/pic/test_field_1.png new file mode 100644 index 0000000..7883e14 Binary files /dev/null and b/pic/test_field_1.png differ diff --git a/pic/test_field_2.png b/pic/test_field_2.png new file mode 100644 index 0000000..d07af4d Binary files /dev/null and b/pic/test_field_2.png differ diff --git a/report.md b/report.md index d6e9e8f..a8700c0 100644 --- a/report.md +++ b/report.md @@ -45,7 +45,7 @@ 4. 函数 FindKeysByField 根据传入的字段名和字段的值找到对应的key。 ### 2.1.3 实验进度以及实验结果 #### 实验进度 -已初步实现上述四个函数,查询函数 FindKeysByField 后续会进行优化和完善。 +已初步实现上述四个函数,后续会对查询函数 FindKeysByField 进行优化和完善,并将上述函数添加到 LevelDB 的代码之中。 #### 实验结果 通过测试 @@ -65,9 +65,12 @@ ### 3. 数据结构设计 `key的格式:| key | vlog_page_slot | ` -`vlog_page: | slot0:{vlog_no, offset}, slot1:{vlog_no, offset}, ... | ` -对于每一次读取,用户线程先读取lsm tree中key的slot下标,然后到vlog_page中读取对应的slot内容(**每一个slot都是定长的**),之后再在这个slot中读取value所在的vlog文件号和偏移量offset,之后到对应的vlog文件中读取value。 +`vlog_page: | slot0:{vlog_no(定长), offset(定长)}, slot1:{vlog_no, offset}, ... | ` + +`value 的格式:| attr个数(定长) | attr1_name的长度(定长) | attr1_name(变长) | attr1_value的长度(定长) | attr1_value(变长) | ... |` + +对于每一次读取,用户线程先读取lsm tree中key的vlog_page_slot下标,然后到vlog_page中读取对应的slot内容(**每一个slot都是定长的**),之后再在这个slot中读取value所在的vlog文件号和偏移量offset,之后到对应的vlog文件中读取value。 但是这又带来了一个问题,我们该如何管理vlog_page这个文件?当插入新的kv时,我们需要在这个vlog_page中分配新的slot,在GC删除某个kv时,我们需要将对应的slot进行释放。这里我们选择在内存中维护一个可线性扩展的bitmap。这个bitmap中每一个bit标识了当前vlog_page文件中对应slot是否被使用,是为1,不是为0。这样一来,在插入新kv时,我们可以用bitmap来分配一个新的slot(将bitmap中第一个为0的bit设置为1),将内容进行写入;在GC删除某个kv时,我们将这个slot对应的bitmap中的bit重置为0即可。 @@ -98,8 +101,14 @@ **输出:** 包含该字段和字段数组的 key,由于可能不只有一个,所以返回值为 vector -4. Put_Fields -5. Get_Fields +4. Put_Fields (待实现) + +**功能:** 仿照Status DB::Put(const WriteOptions& opt, const Slice& key, const Slice& value),通过调用序列化函数,实现以字段形式插入 value + +**输入:** 数据库名,字段名和字段的值 + +**输出:** 包含该字段和字段数组的 key,由于可能不只有一个,所以返回值为 vector +5. Get_Fields (待实现) #### 4.2 实现KV分离 这里只展示和vlog以及GC无关的接口,vlog的创建,管理以及后台线程的GC设计到vlog等新数据结构的实现,较为复杂和庞大,这里不做展示。我们只列出与kv的插入有关的新接口: 1. 搜索vlog_page文件: Status find_slot(const Slice& key, Slot *slot); @@ -111,6 +120,9 @@ ### 5. 功能测试 ### 5.1 在 LevelDB 的 value 中实现字段功能 +#### 5.1.1 功能测试 +1. 能否以字段形式插入并读取数据 +2. 能否以通过字段值查询对应的 key ```` Status OpenDB(std::string dbName, DB **db) { Options options; @@ -129,21 +141,28 @@ TEST(TestSchema, Basic) { std::string key1 = "k_1"; std::string key2 = "k_2"; FieldArray fields1 = { - {"name", "Customer#000000001"}, + {"name", "Customer1"}, {"address", "IVhzIApeRb"}, {"phone", "25-989-741-2988"} }; FieldArray fields2 = { - {"name", "Customer#000000001"}, + {"name", "Customer1"}, {"address", "ecnu"}, {"phone", "123456789"} }; + FieldArray fields3 = { + {"name", "Customer2"}, + {"address", "ecnu"}, + {"phone", "111111111"} + }; // 序列化并插入 std::string value1 = SerializeValue(fields1); std::string value2 = SerializeValue(fields2); + std::string value3 = SerializeValue(fields3); db->Put(leveldb::WriteOptions(), key1, value1); db->Put(leveldb::WriteOptions(), key2, value2); + db->Put(leveldb::WriteOptions(), key2, value3); // 读取并反序列化 std::string value_ret; @@ -158,10 +177,9 @@ TEST(TestSchema, Basic) { } // 测试查找功能 - Field query_field = {"name", "Customer#000000001"}; + Field query_field = {"name", "Customer2"}; std::vector found_keys = FindKeysByField(db, query_field); std::cout << "找到的key有:" << found_keys.size() << "个" << std::endl; - ASSERT_EQ(found_keys[0], key1); // 关闭数据库 delete db; @@ -172,11 +190,18 @@ int main(int argc, char **argv) { return RUN_ALL_TESTS(); } ```` +#### 5.1.2 测试结果 +插入三条数据,name 字段分别为: Customer1, Customer1, Customer2 + +先根据 "name":"customer1"查找,结果为: +![图片](./pic/test_field_1.png) + +在根据"name":"customer2"查找,结果为: +![图片](./pic/test_field_2.png) ### 5.2 单元测试: -1. 测试插入后,是否能读取成功。 -2. 测试插入超过初始vlog_page等slot数量之后,是否还能正常插入,检查vlog_page文件等线性可扩展性 -3. 测试插入后,进行删除,等待GC完成后再读取value和vlog的大小,看看GC过程是否正常进行。 +1. 测试插入超过初始vlog_page等slot数量之后,是否还能正常插入,检查vlog_page文件等线性可扩展性 +2. 测试插入后,进行删除,等待GC完成后再读取value和vlog的大小,看看GC过程是否正常进行。 性能测试: 1. 测试插入的吞吐 @@ -189,14 +214,16 @@ int main(int argc, char **argv) { #### 7. 分工和进度安排 -| 功能 | 完成日期 | 分工 | 是否完成 | -|--------------|--------|--------|------| -| 实现字段设计并通过测试 | 12.8 | 王雪飞 | 已完成 | -| vlog中value的存储格式 | 12.8 | 王雪飞 | -| vlog_page实现 | 12.8 | 马也驰 | -| vlog的GC实现 | 12.29 | 马也驰 | -| 性能测试 | 1.5 | 王雪飞 | -| 功能测试 | 1.5 | 马也驰 | +| 功能 | 完成日期 | 分工 | +|----------------------|-------|------| +| Field相关接口实现 | 12.8 | 王雪飞 | +| value_log中value的存储格式 | 12.8 | 王雪飞 | +| vlog_page 相关接口 | 12.8 | 马也驰 | +| vlog_page实现 | 12.8 | 马也驰 | +| 修改leveldb的接口实现字段功能 | 12.17 | 王雪飞 | +| vlog的GC实现 | 12.29 | 马也驰 | +| 性能测试 | 1.5 | 王雪飞 | +| 功能测试 | 1.5 | 马也驰 |