Ver código fonte

modify report.md

master
王雪飞 1 semana atrás
pai
commit
5358bbc530
3 arquivos alterados com 47 adições e 20 exclusões
  1. BIN
      pic/test_field_1.png
  2. BIN
      pic/test_field_2.png
  3. +47
    -20
      report.md

BIN
pic/test_field_1.png Ver arquivo

Antes Depois
Largura: 1302  |  Altura: 162  |  Tamanho: 25 KiB

BIN
pic/test_field_2.png Ver arquivo

Antes Depois
Largura: 1280  |  Altura: 157  |  Tamanho: 24 KiB

+ 47
- 20
report.md Ver arquivo

@ -45,7 +45,7 @@
4. 函数 FindKeysByField 根据传入的字段名和字段的值找到对应的key。
### 2.1.3 实验进度以及实验结果
#### 实验进度
已初步实现上述四个函数,查询函数 FindKeysByField 后续会进行优化和完善。
已初步实现上述四个函数,后续会对查询函数 FindKeysByField 进行优化和完善,并将上述函数添加到 LevelDB 的代码之中
#### 实验结果
通过测试
@ -65,9 +65,12 @@
### 3. 数据结构设计
`key的格式:| key | vlog_page_slot | `
`vlog_page: | slot0:{vlog_no, offset}, slot1:{vlog_no, offset}, ... | `
对于每一次读取,用户线程先读取lsm tree中key的slot下标,然后到vlog_page中读取对应的slot内容(**每一个slot都是定长的**),之后再在这个slot中读取value所在的vlog文件号和偏移量offset,之后到对应的vlog文件中读取value。
`vlog_page: | slot0:{vlog_no(定长), offset(定长)}, slot1:{vlog_no, offset}, ... | `
`value 的格式:| attr个数(定长) | attr1_name的长度(定长) | attr1_name(变长) | attr1_value的长度(定长) | attr1_value(变长) | ... |`
对于每一次读取,用户线程先读取lsm tree中key的vlog_page_slot下标,然后到vlog_page中读取对应的slot内容(**每一个slot都是定长的**),之后再在这个slot中读取value所在的vlog文件号和偏移量offset,之后到对应的vlog文件中读取value。
但是这又带来了一个问题,我们该如何管理vlog_page这个文件?当插入新的kv时,我们需要在这个vlog_page中分配新的slot,在GC删除某个kv时,我们需要将对应的slot进行释放。这里我们选择在内存中维护一个可线性扩展的bitmap。这个bitmap中每一个bit标识了当前vlog_page文件中对应slot是否被使用,是为1,不是为0。这样一来,在插入新kv时,我们可以用bitmap来分配一个新的slot(将bitmap中第一个为0的bit设置为1),将内容进行写入;在GC删除某个kv时,我们将这个slot对应的bitmap中的bit重置为0即可。
@ -98,8 +101,14 @@
**输出:** 包含该字段和字段数组的 key,由于可能不只有一个,所以返回值为 vector
4. Put_Fields
5. Get_Fields
4. Put_Fields (待实现)
**功能:** 仿照Status DB::Put(const WriteOptions& opt, const Slice& key, const Slice& value),通过调用序列化函数,实现以字段形式插入 value
**输入:** 数据库名,字段名和字段的值
**输出:** 包含该字段和字段数组的 key,由于可能不只有一个,所以返回值为 vector
5. Get_Fields (待实现)
#### 4.2 实现KV分离
这里只展示和vlog以及GC无关的接口,vlog的创建,管理以及后台线程的GC设计到vlog等新数据结构的实现,较为复杂和庞大,这里不做展示。我们只列出与kv的插入有关的新接口:
1. 搜索vlog_page文件: Status find_slot(const Slice& key, Slot *slot);
@ -111,6 +120,9 @@
### 5. 功能测试
### 5.1 在 LevelDB 的 value 中实现字段功能
#### 5.1.1 功能测试
1. 能否以字段形式插入并读取数据
2. 能否以通过字段值查询对应的 key
````
Status OpenDB(std::string dbName, DB **db) {
Options options;
@ -129,21 +141,28 @@ TEST(TestSchema, Basic) {
std::string key1 = "k_1";
std::string key2 = "k_2";
FieldArray fields1 = {
{"name", "Customer#000000001"},
{"name", "Customer1"},
{"address", "IVhzIApeRb"},
{"phone", "25-989-741-2988"}
};
FieldArray fields2 = {
{"name", "Customer#000000001"},
{"name", "Customer1"},
{"address", "ecnu"},
{"phone", "123456789"}
};
FieldArray fields3 = {
{"name", "Customer2"},
{"address", "ecnu"},
{"phone", "111111111"}
};
// 序列化并插入
std::string value1 = SerializeValue(fields1);
std::string value2 = SerializeValue(fields2);
std::string value3 = SerializeValue(fields3);
db->Put(leveldb::WriteOptions(), key1, value1);
db->Put(leveldb::WriteOptions(), key2, value2);
db->Put(leveldb::WriteOptions(), key2, value3);
// 读取并反序列化
std::string value_ret;
@ -158,10 +177,9 @@ TEST(TestSchema, Basic) {
}
// 测试查找功能
Field query_field = {"name", "Customer#000000001"};
Field query_field = {"name", "Customer2"};
std::vector<std::string> found_keys = FindKeysByField(db, query_field);
std::cout << "找到的key有:" << found_keys.size() << "" << std::endl;
ASSERT_EQ(found_keys[0], key1);
// 关闭数据库
delete db;
@ -172,11 +190,18 @@ int main(int argc, char **argv) {
return RUN_ALL_TESTS();
}
````
#### 5.1.2 测试结果
插入三条数据,name 字段分别为: Customer1, Customer1, Customer2
先根据 "name":"customer1"查找,结果为:
![图片](./pic/test_field_1.png)
在根据"name":"customer2"查找,结果为:
![图片](./pic/test_field_2.png)
### 5.2
单元测试:
1. 测试插入后,是否能读取成功。
2. 测试插入超过初始vlog_page等slot数量之后,是否还能正常插入,检查vlog_page文件等线性可扩展性
3. 测试插入后,进行删除,等待GC完成后再读取value和vlog的大小,看看GC过程是否正常进行。
1. 测试插入超过初始vlog_page等slot数量之后,是否还能正常插入,检查vlog_page文件等线性可扩展性
2. 测试插入后,进行删除,等待GC完成后再读取value和vlog的大小,看看GC过程是否正常进行。
性能测试:
1. 测试插入的吞吐
@ -189,14 +214,16 @@ int main(int argc, char **argv) {
#### 7. 分工和进度安排
| 功能 | 完成日期 | 分工 | 是否完成 |
|--------------|--------|--------|------|
| 实现字段设计并通过测试 | 12.8 | 王雪飞 | 已完成 |
| vlog中value的存储格式 | 12.8 | 王雪飞 |
| vlog_page实现 | 12.8 | 马也驰 |
| vlog的GC实现 | 12.29 | 马也驰 |
| 性能测试 | 1.5 | 王雪飞 |
| 功能测试 | 1.5 | 马也驰 |
| 功能 | 完成日期 | 分工 |
|----------------------|-------|------|
| Field相关接口实现 | 12.8 | 王雪飞 |
| value_log中value的存储格式 | 12.8 | 王雪飞 |
| vlog_page 相关接口 | 12.8 | 马也驰 |
| vlog_page实现 | 12.8 | 马也驰 |
| 修改leveldb的接口实现字段功能 | 12.17 | 王雪飞 |
| vlog的GC实现 | 12.29 | 马也驰 |
| 性能测试 | 1.5 | 王雪飞 |
| 功能测试 | 1.5 | 马也驰 |

Carregando…
Cancelar
Salvar