Commit Graph

26 Commits (main)

Author SHA1 Message Date
陈曦 f41c2113dc feat:为 LPMM 流水线脚本添加非交互模式
为 info_extraction.py、import_openie.py、delete_lpmm_items.py 以及新增的 lpmm_manager.py 引入统一的 --non-interactive 参数,使其能够在 CI 和自动化场景下实现完全脚本化、无交互运行。新增了一个功能完整的命令行管理脚本(lpmm_manager.py)以及一份详细的用户指南(lpmm_pipelines_guide.md)。同时,更新了 test_lpmm_retrieval.py,以支持通过 CLI 自定义测试用例,并改进了整个流水线中的错误处理和用户提示。最后,从文档和代码中移除了 ppr_relation_cap 参数。
2025-12-18 20:40:05 +08:00
陈曦 1383caf249 LPMM 知识库删除能力与自检脚本增强(附关键健壮性修复)
为 LPMM 新增安全可控的删除能力:
KGManager.delete_paragraphs 支持按段落/实体哈希删除图节点及关联边,可选清理孤立实体,并从图中重建元数据
统一删除脚本 scripts/delete_lpmm_items.py,支持按批次(OpenIE 文件)、哈希文件、原始文本段落、关键字搜索进行删除,内置 dry-run 和最大节点数保护
新增自检与回归脚本:
scripts/inspect_lpmm_batch.py / scripts/inspect_lpmm_global.py 用于批次级和全局状态检查
scripts/test_lpmm_retrieval.py 一键初始化 LPMM 并用固定问题测试检索效果。
健壮性与性能保护:
在 KGManager.kg_search 中对 ent_appear_cnt 缺失增加兜底,避免实体权重计算时的 KeyError。
增加同义实体数量限制与 PPR 节点/关系阈值,必要时自动退回纯向量检索
文档补充:
docs-src/lpmm_user_guide.md:面向零基础用户的导入 / 删除 / 自检脚本使用指南
docs-src/lpmm_parameters_guide.md:[lpmm_knowledge] 关键参数说明与简单调参建议
2025-11-27 13:20:12 +08:00
magisk317 280f8d737c feat: 信息提取成功标记日志 2025-10-26 01:51:48 +08:00
墨梓柒 163dbb6b90
超级Ruff 2025-09-09 19:25:12 +08:00
UnCLAS-Prommer 998eed4a43
删除env检查 2025-08-03 22:42:06 +08:00
墨梓柒 423525ead5
优化多线程处理,调整嵌入获取和存储逻辑,增强模型一致性校验 2025-08-02 23:52:41 +08:00
墨梓柒 2229f98993
fix:修复LPMM学习问题 2025-07-16 19:58:19 +08:00
SengokuCola 7d448c5fdc feat:可接受 screen seg来读屏幕 2025-07-15 20:29:06 +08:00
墨梓柒 3d430220c7
feat: 优化ensure_dirs函数,确保临时目录、输出目录和原始数据目录存在 2025-07-15 17:02:41 +08:00
墨梓柒 eac2c17049
feat: 移除LLMClient依赖,优化信息提取模块的导入逻辑 2025-07-15 16:55:24 +08:00
墨梓柒 f15e074cca
feat: 重构信息提取模块,移除LLMClient依赖,改为使用LLMRequest,优化数据加载和处理逻辑 2025-07-15 16:54:25 +08:00
github-actions[bot] 1bff478fcc 🤖 自动格式化代码 [skip ci] 2025-07-11 05:19:35 +00:00
github-actions[bot] 7f19255c99 🤖 自动格式化代码 [skip ci] 2025-06-15 08:27:52 +00:00
墨梓柒 110b5b1841
fix:确保OpenIE和临时目录存在并修正路径分隔符 2025-06-15 16:27:22 +08:00
春河晴 7b4e7b94f8
use structlog instead of loguru 2025-06-11 15:17:08 +09:00
墨梓柒 ab2b7ec9ed
feat: 知识库小重构x2 2025-06-07 13:46:24 +08:00
SengokuCola 8c56cb0ca6 Merge remote-tracking branch 'origin/dev' into HFC-para 2025-05-13 22:30:42 +08:00
UnCLAS-Prommer a7c235c557 修复lpmm template的一些问题 2025-05-13 22:14:26 +08:00
SengokuCola fed71bccad fix:调整目录结构,优化hfc prompt,移除日程,移除动态和llm判断willing模式, 2025-05-13 18:37:55 +08:00
SengokuCola deae6f95cb Merge branch 'dev' of https://github.com/MaiM-with-u/MaiBot into dev 2025-05-02 19:19:33 +08:00
SengokuCola a859f9238f better:优化可读性 2025-05-02 19:17:59 +08:00
github-actions[bot] b117e87687 🤖 自动格式化代码 [skip ci] 2025-05-02 05:42:41 +00:00
墨梓柒 03961b71a2 feat: 更新数据路径配置,增强数据处理功能并优化错误提示 2025-05-02 13:42:28 +08:00
晴猫 45c64208b4
refactor: Clean up unused variables and improve code readability 2025-05-01 07:24:52 +09:00
github-actions[bot] b6ce33f469 🤖 自动格式化代码 [skip ci] 2025-04-28 14:30:40 +00:00
墨梓柒 93b4a431c9 杀另一部分文件 2025-04-28 22:29:11 +08:00