Memento缓存机制源码解读帧读取器与元数据缓存的设计智慧【免费下载链接】MementoMemento is a Python app that records everything you do on your computer and lets you go back in time, search, and chat with a LLM (Large Language Model) to find back information about what you did.项目地址: https://gitcode.com/gh_mirrors/mem/Memento想给电脑装一个时光机Memento 这款 Python 应用每 2 秒截屏一次把画面压成视频、用 OCR 抽出文字让你随时回到过去搜索、甚至和 LLM 聊天。但频繁读写视频和元数据性能很容易成为瓶颈。这篇Memento 缓存机制源码解读将带你拆解它的帧读取器缓存与元数据缓存两大核心设计看看开发者如何用不到 200 行代码换来丝滑的时间轴回放体验。Memento 是什么先搞懂它为什么需要缓存Memento 的工作流程可以概括为四步录制后台进程每秒截屏 0.5 次FPS 0.5按每10 秒一个片段SECONDS_PER_REC 10封装成 H.264 格式的.mp4小视频识别OCR 从画面中提取文字和位置bounding box索引文字进入 SQLite含 FTS5 全文搜索和向量数据库元数据写入 JSON回放时间轴Timeline界面按需读取任意一帧画面供你浏览、搜索、与 AI 对话。画面数据在.mp4里、文字数据在.json里、检索数据在数据库里——三套存储各有各的读取成本。缓存机制的作用就是让随时跳转任意时刻这件事变得足够快。双缓存架构总览两条并行的内存加速带打开memento/caching.py会发现缓存被清晰地拆成两条线缓存缓存什么对应类帧读取器缓存视频片段画面ReaderReadersCache元数据缓存JSON 元数据窗口标题、OCR 文字、坐标MetadataMetadataCache两者结构几乎对称一个具体对象负责读写一个缓存池负责管理生命周期。这种分工让代码极易理解也方便日后替换淘汰策略。帧读取器缓存把整段视频预解码进内存Reader一次性吃掉整个 mp4Reader类在初始化时调用av.open(filename)打开视频然后循环解码并缓存所有帧for i, frame in enumerate(self.container.decode(self.stream)): self.frames.append(frame)也就是说只要拿到某个Reader任意帧的访问都是纯内存操作frames[frame_i - offset]完全避开按帧 seek 视频文件这种昂贵操作。这正是回放流畅的关键用内存换时间。ReadersCache按视频段号定位读取器ReadersCache的核心是select_video_iddef select_video_id(self, frame_id): return int(frame_id // (FPS * SECONDS_PER_REC))它把全局帧号换算成视频段编号——例如第 105 帧因为每秒 0.5 帧、每段 10 秒即每段 5 帧105 // 5 21就落在21.mp4里。再配合offset video_id * 5还原出该段内的局部帧号一张帧号 ↔ 视频文件的映射表就建立起来了。访问时若video_id不在缓存中就新建Reader并登记到readers_ids列表若缓存已满则淘汰最老的读取器见下文淘汰策略。元数据缓存JSON 文件的懒加载智慧画面有了每帧对应的窗口标题、时间、OCR 文本和坐标则存在.json文件里。Metadata类做到了两件事懒加载首次访问才json.load读文件且之后常驻内存全量写回write()更新字典后直接json.dump覆盖写入文件。MetadataCache与ReadersCache如出一辙用select_metadata_id按同样的公式定位 JSON 文件命中即返回未命中则加载并登记。这套设计的意义在于时间轴浏览时只加载你真正经过的那些片段而不是启动时把全部元数据读进内存——对于可能积累数小时、甚至数天录像的 Memento 来说这是明智的内存管理。缓存淘汰策略简单却聪明的 FIFO两个缓存池都维护一个*_ids列表记录插入顺序当缓存数量超过FRAME_CACHE_SIZE时if len(self.readers) self.cache_size: dumped_id self.readers_ids[0] # 取最早插入的 self.readers_ids self.readers_ids[1:] del self.readers[dumped_id] # 淘汰这就是标准的FIFO先进先出淘汰策略。为什么不用更复杂的 LRU因为 Memento 时间轴的浏览天然是顺序/局部访问——用户拖动时间轴时相邻帧共享同一个视频段命中率本就很高。对于这种访问模式FIFO 足够且实现成本几乎为零。值得一提的参数配置见memento/utils.pyFRAME_CACHE_SIZE由最大可回放时长推导而来缓存容量和录像规模自动挂钩省去了人工调参的烦恼。从缓存机制中学到的设计智慧通读这份源码有三点特别值得借鉴分片是缓存的前提。Memento 把连续录屏切成 10 秒一个的独立文件才让帧号 → 文件的映射成为可能。分片让缓存粒度可控、淘汰粒度可控也让崩溃恢复变得简单。读写分离、各司其职。视频ReadersCache与元数据MetadataCache各自独立缓存互不干扰FrameGetter位于memento/timeline/frame_getter.py作为上层门面只负责按帧号取图 绘制标注完全不关心缓存细节职责划分非常干净。性能瓶颈从数据格式开始解决。与其在读取层做复杂优化不如在写入层就把数据组织好预解码整段视频、按需加载 JSON、全量写回都是以空间换时间的典型取舍。README 也提到目前约每小时产生 120MB 数据这类取舍正是为控制读取延迟而做的。延伸阅读缓存机制相关模块想深入研究的读者可以按以下路径继续阅读缓存核心实现memento/caching.pyReader、ReadersCache、Metadata、MetadataCache缓存的使用方memento/timeline/frame_getter.pyFrameGetter组装双缓存并处理缩放、标注后台写入端memento/background.py录制截图、OCR 结果回写元数据缓存参数与常量memento/utils.pyFPS、SECONDS_PER_REC、FRAME_CACHE_SIZE、CACHE_PATH检索层memento/db.pySQLite FTS5 全文索引如果你也想实现自己的屏幕记忆工具或想为 Memento 贡献更高效的缓存策略比如升级为真正的 LRU、加入预热机制这份代码就是最好的起点。克隆项目后从memento/caching.py读起你会惊叹于它的简洁与巧妙。【免费下载链接】MementoMemento is a Python app that records everything you do on your computer and lets you go back in time, search, and chat with a LLM (Large Language Model) to find back information about what you did.项目地址: https://gitcode.com/gh_mirrors/mem/Memento创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Memento缓存机制源码解读帧读取器与元数据缓存的设计智慧【免费下载链接】MementoMemento is a Python app that records everything you do on your computer and lets you go back in time, search, and chat with a LLM (Large Language Model) to find back information about what you did.项目地址: https://gitcode.com/gh_mirrors/mem/Memento想给电脑装一个时光机Memento 这款 Python 应用每 2 秒截屏一次把画面压成视频、用 OCR 抽出文字让你随时回到过去搜索、甚至和 LLM 聊天。但频繁读写视频和元数据性能很容易成为瓶颈。这篇Memento 缓存机制源码解读将带你拆解它的帧读取器缓存与元数据缓存两大核心设计看看开发者如何用不到 200 行代码换来丝滑的时间轴回放体验。Memento 是什么先搞懂它为什么需要缓存Memento 的工作流程可以概括为四步录制后台进程每秒截屏 0.5 次FPS 0.5按每10 秒一个片段SECONDS_PER_REC 10封装成 H.264 格式的.mp4小视频识别OCR 从画面中提取文字和位置bounding box索引文字进入 SQLite含 FTS5 全文搜索和向量数据库元数据写入 JSON回放时间轴Timeline界面按需读取任意一帧画面供你浏览、搜索、与 AI 对话。画面数据在.mp4里、文字数据在.json里、检索数据在数据库里——三套存储各有各的读取成本。缓存机制的作用就是让随时跳转任意时刻这件事变得足够快。双缓存架构总览两条并行的内存加速带打开memento/caching.py会发现缓存被清晰地拆成两条线缓存缓存什么对应类帧读取器缓存视频片段画面ReaderReadersCache元数据缓存JSON 元数据窗口标题、OCR 文字、坐标MetadataMetadataCache两者结构几乎对称一个具体对象负责读写一个缓存池负责管理生命周期。这种分工让代码极易理解也方便日后替换淘汰策略。帧读取器缓存把整段视频预解码进内存Reader一次性吃掉整个 mp4Reader类在初始化时调用av.open(filename)打开视频然后循环解码并缓存所有帧for i, frame in enumerate(self.container.decode(self.stream)): self.frames.append(frame)也就是说只要拿到某个Reader任意帧的访问都是纯内存操作frames[frame_i - offset]完全避开按帧 seek 视频文件这种昂贵操作。这正是回放流畅的关键用内存换时间。ReadersCache按视频段号定位读取器ReadersCache的核心是select_video_iddef select_video_id(self, frame_id): return int(frame_id // (FPS * SECONDS_PER_REC))它把全局帧号换算成视频段编号——例如第 105 帧因为每秒 0.5 帧、每段 10 秒即每段 5 帧105 // 5 21就落在21.mp4里。再配合offset video_id * 5还原出该段内的局部帧号一张帧号 ↔ 视频文件的映射表就建立起来了。访问时若video_id不在缓存中就新建Reader并登记到readers_ids列表若缓存已满则淘汰最老的读取器见下文淘汰策略。元数据缓存JSON 文件的懒加载智慧画面有了每帧对应的窗口标题、时间、OCR 文本和坐标则存在.json文件里。Metadata类做到了两件事懒加载首次访问才json.load读文件且之后常驻内存全量写回write()更新字典后直接json.dump覆盖写入文件。MetadataCache与ReadersCache如出一辙用select_metadata_id按同样的公式定位 JSON 文件命中即返回未命中则加载并登记。这套设计的意义在于时间轴浏览时只加载你真正经过的那些片段而不是启动时把全部元数据读进内存——对于可能积累数小时、甚至数天录像的 Memento 来说这是明智的内存管理。缓存淘汰策略简单却聪明的 FIFO两个缓存池都维护一个*_ids列表记录插入顺序当缓存数量超过FRAME_CACHE_SIZE时if len(self.readers) self.cache_size: dumped_id self.readers_ids[0] # 取最早插入的 self.readers_ids self.readers_ids[1:] del self.readers[dumped_id] # 淘汰这就是标准的FIFO先进先出淘汰策略。为什么不用更复杂的 LRU因为 Memento 时间轴的浏览天然是顺序/局部访问——用户拖动时间轴时相邻帧共享同一个视频段命中率本就很高。对于这种访问模式FIFO 足够且实现成本几乎为零。值得一提的参数配置见memento/utils.pyFRAME_CACHE_SIZE由最大可回放时长推导而来缓存容量和录像规模自动挂钩省去了人工调参的烦恼。从缓存机制中学到的设计智慧通读这份源码有三点特别值得借鉴分片是缓存的前提。Memento 把连续录屏切成 10 秒一个的独立文件才让帧号 → 文件的映射成为可能。分片让缓存粒度可控、淘汰粒度可控也让崩溃恢复变得简单。读写分离、各司其职。视频ReadersCache与元数据MetadataCache各自独立缓存互不干扰FrameGetter位于memento/timeline/frame_getter.py作为上层门面只负责按帧号取图 绘制标注完全不关心缓存细节职责划分非常干净。性能瓶颈从数据格式开始解决。与其在读取层做复杂优化不如在写入层就把数据组织好预解码整段视频、按需加载 JSON、全量写回都是以空间换时间的典型取舍。README 也提到目前约每小时产生 120MB 数据这类取舍正是为控制读取延迟而做的。延伸阅读缓存机制相关模块想深入研究的读者可以按以下路径继续阅读缓存核心实现memento/caching.pyReader、ReadersCache、Metadata、MetadataCache缓存的使用方memento/timeline/frame_getter.pyFrameGetter组装双缓存并处理缩放、标注后台写入端memento/background.py录制截图、OCR 结果回写元数据缓存参数与常量memento/utils.pyFPS、SECONDS_PER_REC、FRAME_CACHE_SIZE、CACHE_PATH检索层memento/db.pySQLite FTS5 全文索引如果你也想实现自己的屏幕记忆工具或想为 Memento 贡献更高效的缓存策略比如升级为真正的 LRU、加入预热机制这份代码就是最好的起点。克隆项目后从memento/caching.py读起你会惊叹于它的简洁与巧妙。【免费下载链接】MementoMemento is a Python app that records everything you do on your computer and lets you go back in time, search, and chat with a LLM (Large Language Model) to find back information about what you did.项目地址: https://gitcode.com/gh_mirrors/mem/Memento创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
