25개 이상의 토픽을 선택하실 수 없습니다. Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

69 lines
4.8 KiB

3 주 전
3 주 전
3 주 전
  1. # LevelDB TTL 实验报告
  2. 小组成员:
  3. 王雪飞 10225501435
  4. 马也驰 10215501408
  5. ## 1.实验目的
  6. 1. 深入了解LevelDB的内部原理和数据结构。
  7. 2. 掌握TTL(Time To Live,生存时间)功能的设计与实现方法。
  8. 3. 学习如何在开源项目中添加新功能,提升代码阅读和修改能力。
  9. ## 2.实验要求
  10. 1. 在LevelDB中实现键值对的TTL功能,使得过期的数据在读取时自动失效,并在适当的时候被合并清理。
  11. 2. 修改LevelDB的源码,实现对TTL的支持,包括数据的写入、读取和过期数据的清理。
  12. 3. 编写测试用例,验证TTL功能的正确性和稳定性。
  13. ## 3.实验内容
  14. ### 3.1. TTL功能介绍
  15. TTL(Time To Live),即生存时间,是指数据在存储系统中的有效期。设置TTL可以使得过期的数据自动失效,减少存储空间占用,提高系统性能。
  16. 为什么需要TTL功能:
  17. 1. 数据自动过期:无需手动删除过期数据,简化数据管理。
  18. 2. 节省存储空间:定期清理无效数据,优化资源利用。
  19. 3. 提高性能:减少无效数据的干扰,提升读写效率。
  20. ### 3.2. 设计方案
  21. 在LevelDB中添加TTL功能的方案:
  22. 1. 数据编码方式修改:在键或值中增加过期时间的信息。
  23. 2. 读取时判断过期:在Get操作时,检查数据是否过期,过期则返回NotFound。
  24. 3. Compaction清理:在数据压缩过程中,删除过期的数据。
  25. ## 3.3. 实现步骤
  26. #### 3.3.1. 修改数据结构
  27. 在 Put 操作中,将 TTL 与当前时间相加获得 DDL,DDL 为数据失效的时间,将 DDL 与值一起存储,存储格式为`<TTL_value>`。
  28. ```
  29. Status DB::Put(const WriteOptions& opt, const Slice& key,
  30. const Slice& value, uint64_t ttl) {
  31. WriteBatch batch;
  32. auto now = std::chrono::system_clock::now();
  33. auto timestamp = std::chrono::duration_cast<std::chrono::microseconds>(now.time_since_epoch()).count();
  34. auto microsecondsTimestamp = static_cast<uint64_t>(timestamp) + ttl*1000000;
  35. std::string value_ttl = value.ToString();
  36. value_ttl += "_" + std::to_string(microsecondsTimestamp);
  37. Slice new_value(value_ttl.c_str(), value_ttl.size());
  38. batch.Put(key, new_value);
  39. return Write(opt, &batch);
  40. }
  41. ```
  42. ### 3.3.2 修改读取流程
  43. 在 Get 操作中,获得 value 之后,找到第一个下划线,下划线前面的数据为 DDL,然后用当前时间与 DDL 作比较,判断数据是否过期,过期则返回NotFound。
  44. ```
  45. size_t pos = value->find_last_of('_');
  46. if (pos != std::string::npos) {
  47. std::string substring = value->substr(pos + 1);
  48. auto ddl = static_cast<uint64_t>(std::stoll(substring));
  49. auto now = std::chrono::system_clock::now();
  50. auto timestamp = std::chrono::duration_cast<std::chrono::microseconds>(now.time_since_epoch()).count();
  51. auto microsecondsTimestamp = static_cast<uint64_t>(timestamp);
  52. if (ddl <= microsecondsTimestamp) {
  53. value->clear();
  54. Slice msg1("value not found!");
  55. Slice msg2("value has expired!");
  56. s = leveldb::Status::NotFound(msg1, msg2);
  57. } else {
  58. value->resize(pos);
  59. }
  60. }
  61. ```
  62. ## 实验中遇到的问题
  63. ### 1. TTL存储的位置以及存储方式
  64. 我们最初的想法是把TTL跟value存储在一起,形式为`<TTL value>`,这样Put操作会很简单,仅仅把两个字符串拼接起来即可,但这样的话,在Get操作中时,无法判断从何处分割TTL和value,所以我们决定在TTL和value之间添加一个标志符,存放形式改为`<TTL_value>`,这样,在Get操作时,只需先找到第一个下划线,下划线前面的为TTL,后面的为value,这样就能把TTL和value区分开来。但还有一个问题,判断条件为:`写入数据的时间+ TTL < 读取数据的时间 `,如果仅存放TTL,虽然在调用get时我们可以获得读取数据的时间,并通过解码value获得TTL,但我们没有办法获得写入数据的时间,所以只能通过在Put操作时,把写入数据的时间也写入value中,这样在Get时,就能获得写入数据的时间,从而判断是否过期。所以,我们又把value的形式改为`<TTL_写入时间_value>`,这样,通过两个下划线把TTL、写入时间和value区分开来,就能实现在get操作时判断是否过期。但我们又想到,既然在get操作解码得到TTL和写入时间之后要加在一块,并且TTL和写入时间都是在get操作时与value进行编码,那么我们为什么不在get操作时就把TTL和写入时间加在一起,再与value编码呢,把写入时间+TTL记为DDL,这样就可以把value编码为`<DDL_value>`,在get操作时,只需解码得到DDL,然后拿当前时间跟DDL作比较,即可知道数据是否过期。
  65. 综上所述,我们的编码格式经过多次迭代:`<TTL value>`->`<TTL_value>`->`<TTL_写入时间_value>`->`<DDL_value>`,最终得到一个比较满意的编码方式。