# 实验报告 仓库地址 https://gitea.shuishan.net.cn/10225501448/leveldb_proj2 # 1. 项目概述 leveldb中的存储原本只支持简单的字节序列,在这个项目中我们对其功能进行拓展,使其可以包含多个字段,并通过这些字段实现类似数据库列查询的功能。但如果仅通过字段查找数据,需要对整个数据库的遍历,不够高效,因此还要新增二级索引,提高对特定字段的查询效率。 # 2. 功能实现 ## 2.1 字段 设计目标:对value存储读取时进行序列化编码,使其支持字段。 实现思路:设计之初有考虑增加一些元数据(例如过滤器、字段偏移支持二分)来加速查询。但考虑到在数据库中kv的数量是十分庞大的,新加数据结构会带来巨大的空间开销。因此我们决定在这里牺牲时间换取空间,而将时间的加速放在索引中。 在这一基础上,我们对序列化进行了简单的优化:将字段名排序后,一一调用leveldb中原本的编码方法`PutLengthPrefixedSlice`存入value。这样不会有额外的空间开销,而好处在于遍历一个value的字段时,如果得到的字段名比目标大,就可以提前结束遍历。 ``` std::string SerializeValue(const FieldArray& fields){ std::sort(sortFields.begin(), sortFields.end(), compareByFirst); for (const Field& pairs : sortFields) { PutLengthPrefixedSlice(&result, pairs.first); PutLengthPrefixedSlice(&result, pairs.second); } return result; } ``` 最终db类提供了新接口`putFields`, `getFields`,分别对传入的字段序列化后调用原来的`put`, `get`接口。 `FindKeysByField`调用`NewIterator`遍历所有数据,field名和值符合则加入返回的key中。 **这一部分的具体代码在util/serialize_value.cc中** ## 2.2 二级索引 设计目标:对某个字段(属性)建立索引,提高对该字段的查询效率。 ### 2.2.1 总体架构 fielddb ### 2.2.2 如何并发创删索引与读写 request ### 2.2.3 如何保证两个kv与index的一致性 metadb ## 3. 测试 ### 3.1 正确性测试 ### 3.2 性能测试 测试、分析、优化 ## 4. 问题与解决 ## 5. 潜在优化点 ## 6. 分工