陈曦
|
f41c2113dc
|
feat:为 LPMM 流水线脚本添加非交互模式
为 info_extraction.py、import_openie.py、delete_lpmm_items.py 以及新增的 lpmm_manager.py 引入统一的 --non-interactive 参数,使其能够在 CI 和自动化场景下实现完全脚本化、无交互运行。新增了一个功能完整的命令行管理脚本(lpmm_manager.py)以及一份详细的用户指南(lpmm_pipelines_guide.md)。同时,更新了 test_lpmm_retrieval.py,以支持通过 CLI 自定义测试用例,并改进了整个流水线中的错误处理和用户提示。最后,从文档和代码中移除了 ppr_relation_cap 参数。
|
2025-12-18 20:40:05 +08:00 |
陈曦
|
1383caf249
|
LPMM 知识库删除能力与自检脚本增强(附关键健壮性修复)
为 LPMM 新增安全可控的删除能力:
KGManager.delete_paragraphs 支持按段落/实体哈希删除图节点及关联边,可选清理孤立实体,并从图中重建元数据
统一删除脚本 scripts/delete_lpmm_items.py,支持按批次(OpenIE 文件)、哈希文件、原始文本段落、关键字搜索进行删除,内置 dry-run 和最大节点数保护
新增自检与回归脚本:
scripts/inspect_lpmm_batch.py / scripts/inspect_lpmm_global.py 用于批次级和全局状态检查
scripts/test_lpmm_retrieval.py 一键初始化 LPMM 并用固定问题测试检索效果。
健壮性与性能保护:
在 KGManager.kg_search 中对 ent_appear_cnt 缺失增加兜底,避免实体权重计算时的 KeyError。
增加同义实体数量限制与 PPR 节点/关系阈值,必要时自动退回纯向量检索
文档补充:
docs-src/lpmm_user_guide.md:面向零基础用户的导入 / 删除 / 自检脚本使用指南
docs-src/lpmm_parameters_guide.md:[lpmm_knowledge] 关键参数说明与简单调参建议
|
2025-11-27 13:20:12 +08:00 |
magisk317
|
280f8d737c
|
feat: 信息提取成功标记日志
|
2025-10-26 01:51:48 +08:00 |
墨梓柒
|
163dbb6b90
|
超级Ruff
|
2025-09-09 19:25:12 +08:00 |
UnCLAS-Prommer
|
998eed4a43
|
删除env检查
|
2025-08-03 22:42:06 +08:00 |
墨梓柒
|
423525ead5
|
优化多线程处理,调整嵌入获取和存储逻辑,增强模型一致性校验
|
2025-08-02 23:52:41 +08:00 |
墨梓柒
|
2229f98993
|
fix:修复LPMM学习问题
|
2025-07-16 19:58:19 +08:00 |
SengokuCola
|
7d448c5fdc
|
feat:可接受 screen seg来读屏幕
|
2025-07-15 20:29:06 +08:00 |
墨梓柒
|
3d430220c7
|
feat: 优化ensure_dirs函数,确保临时目录、输出目录和原始数据目录存在
|
2025-07-15 17:02:41 +08:00 |
墨梓柒
|
eac2c17049
|
feat: 移除LLMClient依赖,优化信息提取模块的导入逻辑
|
2025-07-15 16:55:24 +08:00 |
墨梓柒
|
f15e074cca
|
feat: 重构信息提取模块,移除LLMClient依赖,改为使用LLMRequest,优化数据加载和处理逻辑
|
2025-07-15 16:54:25 +08:00 |
github-actions[bot]
|
1bff478fcc
|
🤖 自动格式化代码 [skip ci]
|
2025-07-11 05:19:35 +00:00 |
github-actions[bot]
|
7f19255c99
|
🤖 自动格式化代码 [skip ci]
|
2025-06-15 08:27:52 +00:00 |
墨梓柒
|
110b5b1841
|
fix:确保OpenIE和临时目录存在并修正路径分隔符
|
2025-06-15 16:27:22 +08:00 |
春河晴
|
7b4e7b94f8
|
use structlog instead of loguru
|
2025-06-11 15:17:08 +09:00 |
墨梓柒
|
ab2b7ec9ed
|
feat: 知识库小重构x2
|
2025-06-07 13:46:24 +08:00 |
SengokuCola
|
8c56cb0ca6
|
Merge remote-tracking branch 'origin/dev' into HFC-para
|
2025-05-13 22:30:42 +08:00 |
UnCLAS-Prommer
|
a7c235c557
|
修复lpmm template的一些问题
|
2025-05-13 22:14:26 +08:00 |
SengokuCola
|
fed71bccad
|
fix:调整目录结构,优化hfc prompt,移除日程,移除动态和llm判断willing模式,
|
2025-05-13 18:37:55 +08:00 |
SengokuCola
|
deae6f95cb
|
Merge branch 'dev' of https://github.com/MaiM-with-u/MaiBot into dev
|
2025-05-02 19:19:33 +08:00 |
SengokuCola
|
a859f9238f
|
better:优化可读性
|
2025-05-02 19:17:59 +08:00 |
github-actions[bot]
|
b117e87687
|
🤖 自动格式化代码 [skip ci]
|
2025-05-02 05:42:41 +00:00 |
墨梓柒
|
03961b71a2
|
feat: 更新数据路径配置,增强数据处理功能并优化错误提示
|
2025-05-02 13:42:28 +08:00 |
晴猫
|
45c64208b4
|
refactor: Clean up unused variables and improve code readability
|
2025-05-01 07:24:52 +09:00 |
github-actions[bot]
|
b6ce33f469
|
🤖 自动格式化代码 [skip ci]
|
2025-04-28 14:30:40 +00:00 |
墨梓柒
|
93b4a431c9
|
杀另一部分文件
|
2025-04-28 22:29:11 +08:00 |