|
|
9b6ff59a11
|
feat(kg): 实现 Phase 3.3 性能优化
核心功能：
- Neo4j 索引优化（entityType, graphId, properties.name）
- Redis 缓存（Java 侧，3 个缓存区，TTL 可配置）
- LRU 缓存（Python 侧，KG + Embedding，线程安全）
- 细粒度缓存清除（graphId 前缀匹配）
- 失败路径缓存清除（finally 块）
新增文件（Java 侧，7 个）：
- V2__PerformanceIndexes.java - Flyway 迁移，创建 3 个索引
- IndexHealthService.java - 索引健康监控
- RedisCacheConfig.java - Spring Cache + Redis 配置
- GraphCacheService.java - 缓存清除管理器
- CacheableIntegrationTest.java - 集成测试（10 tests）
- GraphCacheServiceTest.java - 单元测试（19 tests）
- V2__PerformanceIndexesTest.java, IndexHealthServiceTest.java
新增文件（Python 侧，2 个）：
- cache.py - 内存 TTL+LRU 缓存（cachetools）
- test_cache.py - 单元测试（20 tests）
修改文件（Java 侧，9 个）：
- GraphEntityService.java - 添加 @Cacheable，缓存清除
- GraphQueryService.java - 添加 @Cacheable（包含用户权限上下文）
- GraphRelationService.java - 添加缓存清除
- GraphSyncService.java - 添加缓存清除（finally 块，失败路径）
- KnowledgeGraphProperties.java - 添加 Cache 配置类
- application-knowledgegraph.yml - 添加 Redis 和缓存 TTL 配置
- GraphEntityServiceTest.java - 添加 verify(cacheService) 断言
- GraphRelationServiceTest.java - 添加 verify(cacheService) 断言
- GraphSyncServiceTest.java - 添加失败路径缓存清除测试
修改文件（Python 侧，5 个）：
- kg_client.py - 集成缓存（fulltext_search, get_subgraph）
- interface.py - 添加 /cache/stats 和 /cache/clear 端点
- config.py - 添加缓存配置字段
- pyproject.toml - 添加 cachetools 依赖
- test_kg_client.py - 添加 _disable_cache fixture
安全修复（3 轮迭代）：
- P0: 缓存 key 用户隔离（防止跨用户数据泄露）
- P1-1: 同步子步骤后的缓存清除（18 个方法）
- P1-2: 实体创建后的搜索缓存清除
- P1-3: 失败路径缓存清除（finally 块）
- P2-1: 细粒度缓存清除（graphId 前缀匹配，避免跨图谱冲刷）
- P2-2: 服务层测试添加 verify(cacheService) 断言
测试结果：
- Java: 280 tests pass ✅ (270 → 280, +10 new)
- Python: 154 tests pass ✅ (140 → 154, +14 new)
缓存配置：
- kg:entities - 实体缓存，TTL 1h
- kg:queries - 查询结果缓存，TTL 5min
- kg:search - 全文搜索缓存，TTL 3min
- KG cache (Python) - 256 entries, 5min TTL
- Embedding cache (Python) - 512 entries, 10min TTL
|
2026-02-20 18:28:33 +08:00 |
|
|
|
39338df808
|
feat(kg): 实现 Phase 2 GraphRAG 融合功能
核心功能：
- 三层检索策略：向量检索（Milvus）+ 图检索（KG 服务）+ 融合排序
- LLM 生成：支持同步和流式（SSE）响应
- 知识库访问控制：knowledge_base_id 归属校验 + collection_name 绑定验证
新增模块（9个文件）：
- models.py: 请求/响应模型（GraphRAGQueryRequest, RetrievalStrategy, GraphContext 等）
- milvus_client.py: Milvus 向量检索客户端（OpenAI Embeddings + asyncio.to_thread）
- kg_client.py: KG 服务 REST 客户端（全文检索 + 子图导出，fail-open）
- context_builder.py: 三元组文本化（10 种关系模板）+ 上下文构建
- generator.py: LLM 生成（ChatOpenAI，支持同步和流式）
- retriever.py: 检索编排（并行检索 + 融合排序）
- kb_access.py: 知识库访问校验（归属验证 + collection 绑定，fail-close）
- interface.py: FastAPI 端点（/query, /retrieve, /query/stream）
- __init__.py: 模块入口
修改文件（3个）：
- app/core/config.py: 添加 13 个 graphrag_* 配置项
- app/module/__init__.py: 注册 kg_graphrag_router
- pyproject.toml: 添加 pymilvus 依赖
测试覆盖（79 tests）：
- test_context_builder.py: 13 tests（三元组文本化 + 上下文构建）
- test_kg_client.py: 14 tests（KG 响应解析 + PagedResponse + 边字段映射）
- test_milvus_client.py: 8 tests（向量检索 + asyncio.to_thread）
- test_retriever.py: 11 tests（并行检索 + 融合排序 + fail-open）
- test_kb_access.py: 18 tests（归属校验 + collection 绑定 + 跨用户负例）
- test_interface.py: 15 tests（端点级回归 + 403 short-circuit）
关键设计：
- Fail-open: Milvus/KG 服务失败不阻塞管道，返回空结果
- Fail-close: 访问控制失败拒绝请求，防止授权绕过
- 并行检索: asyncio.gather() 并发运行向量和图检索
- 融合排序: Min-max 归一化 + 加权融合（vector_weight/graph_weight）
- 延迟初始化: 所有客户端在首次请求时初始化
- 配置回退: graphrag_llm_* 为空时回退到 kg_llm_*
安全修复：
- P1-1: KG 响应解析（PagedResponse.content）
- P1-2: 子图边字段映射（sourceEntityId/targetEntityId）
- P1-3: collection_name 越权风险（归属校验 + 绑定验证）
- P1-4: 同步 Milvus I/O（asyncio.to_thread）
- P1-5: 测试覆盖（79 tests，包括安全负例）
测试结果：79 tests pass ✅
|
2026-02-20 09:41:55 +08:00 |
|
