|
|
@ -0,0 +1,54 @@ |
|
|
|
# 1. 项目概述 |
|
|
|
leveldb中的存储原本只支持简单的字节序列,在这个项目中我们对其功能进行拓展,使其可以包含多个字段,并通过这些字段实现类似数据库列查询的功能。但如果仅通过字段查找数据,需要对整个数据库的遍历,不够高效,因此还要新增二级索引,提高对特定字段的查询效率。 |
|
|
|
|
|
|
|
本文档涵盖的设计内容只是最初的设想,实现过程中大概率会进行调整甚至重构。第5、6、7部分也将在项目落实的过程中进行补充完善。 |
|
|
|
|
|
|
|
# 2. 功能设计 |
|
|
|
## 2.1 字段设计 |
|
|
|
设计目标:对value存储读取时进行序列化编码,使其支持字段。 |
|
|
|
|
|
|
|
实现思路:设计之初有考虑增加一些元数据(例如过滤器、字段偏移支持二分)来加速查询。但考虑到在数据库中kv的数量是十分庞大的,新加数据结构会带来巨大的空间开销。因此我们决定在这里牺牲时间换取空间,而将时间的加速放在索引中。 |
|
|
|
在这一基础上,我们对序列化进行了简单的优化:将字段名排序后,一一调用leveldb中原本的编码方法`PutLengthPrefixedSlice`存入value。这样不会有额外的空间开销,而好处在于遍历一个value的字段时,如果得到的字段名比目标大,就可以提前结束遍历。 |
|
|
|
最终db类提供了新接口`putFields`, `getFields`,分别对传入的字段序列化后调用原来的`put`, `get`接口。 |
|
|
|
**`FindKeysByField`调用`NewIterator`遍历所有数据,field名和值符合则加入返回的key中。这里的问题在于遍历中可能符合条件的key之前已经被删了,所以还要维护一个被删的key数组?总感觉这个玩意性能有点太差了** |
|
|
|
|
|
|
|
## 2.2 二级索引 |
|
|
|
设计目标:对某个字段或属性建立索引,提高对该字段的查询效率。需考虑索引的创建、删除、维护。 |
|
|
|
|
|
|
|
实现思路: 这一部分的难点主要在于,索引数据与原数据的存储需要进行隔离,不同操作之间存在同步与异步问题,还需要考虑两种数据间的一致性。为了使设计简洁化,避免不同模块耦合带来潜在的问题,我们的设计如下: |
|
|
|
1. 总体上,我们对两种数据分别创建一个db类的对象`kvDb, indexDb`。对外的接口类`FieldDb`包含了这两个对象,提供原先的leveldb各种接口,以及新功能,并在这一层完成两个对象的管理。 |
|
|
|
2. `kvDb`与原先的存储一致,`indexDb`中key是原key与索引字段的联合编码,value是空(详见数据结构设计),并且lab1中新增的接口也不会被调用到。 |
|
|
|
3. 在open新的fieldDb时,会创建这两个对象并open他们。fieldDb会维护一个字符串数组`fieldWithIndex`,记录了当前哪些字段名拥有索引。一个当前状态成员`pair<indexStatus, fieldName>`类型的`nowTask`,表示数据库当前处于 空闲`free`、创建索引中`creating`、删除索引中`deleting`,及对应的字段名(free时为空)。一个`pair<indexStatus, fieldName>`的队列`taskQueue`, 维护了创建或者删除索引的任务请求。创建或删除索引时,把任务加入队尾并休眠。一个任务完成后唤醒队首继续下一个任务(类似write机制) |
|
|
|
``` |
|
|
|
class FieldDb { |
|
|
|
Db *kvDb; |
|
|
|
Db *indexDb; |
|
|
|
string[] fieldWithIndex; |
|
|
|
pair<indexStatus, fieldName> nowTask; |
|
|
|
queue<pair<indexStatus, fieldName>> taskQueue; |
|
|
|
vector<key, fieldVal> tmpAddKvs; |
|
|
|
vector<key, fieldVal> tmpDeleteKvs; |
|
|
|
|
|
|
|
//原db所有对外接口,下面没提就调用kvDb相应函数 |
|
|
|
} |
|
|
|
``` |
|
|
|
4. 一个创建/删除索引任务开始时,先修改`nowTask`,再对`kvDb`调用`FindKvsByField`(类似lab1的`FindKeysByField`但也要返回field对应的值),对返回的数组(合并上5中提到的tmpAddKvs、tmpDeleteKvs)中每个元素一一与字段名编码成新key,调用`indexDb`中的put或delete。 |
|
|
|
5. fieldDb也提供了`put`, `get`,`getFields`, `putFields`,`delete`接口。对前三者,简单调用`kvDb`中的对应接口(不涉及索引)。对`putFields`,先调用`kvDb`中的`putFields`,写完后如果写入的字段名中: |
|
|
|
有`nowTask.fieldName`,则加入`tmpAddkvs`,保证创建删除索引时,新来的数据也被记录。 |
|
|
|
有`fieldWithIndex`中有的字段,则直接对`kvDb`调用一个(多个)`put`。 |
|
|
|
`delete`也是如此,创建删除索引时新来的要delete的数据由`tmpDeletekvs`维护。 |
|
|
|
**只考虑到这,理论上每个数据库内部的日志、快照、合并等模块不会互相影响(创建的那些current、manifest文件名好像会冲突)** |
|
|
|
|
|
|
|
# 3. 数据结构设计 |
|
|
|
`indexDb`的kv编码:**暂时考虑助教文档那种** |
|
|
|
# 4. 接口/函数设计 |
|
|
|
|
|
|
|
# 5. 功能测试 |
|
|
|
|
|
|
|
# 6. 可能的挑战与解决方案 |
|
|
|
已想到的部分在之前已阐述,其余待发现。 |
|
|
|
|
|
|
|
# 7. 分工与进度安排 |
|
|
|
功能 | 完成日期 | 分工 |
|
|
|
:------|:---------|:------ |
|
|
|
value序列化|11.19 | 李度 |