|
|
74daed1c25
|
feat(kg): 实现同步时间窗口过滤（P0-03）
为 DataManagementClient 的 5 个 listAll* 方法添加时间窗口过滤：
- listAllDatasets(updatedFrom, updatedTo)
- listAllWorkflows(updatedFrom, updatedTo)
- listAllJobs(updatedFrom, updatedTo)
- listAllLabelTasks(updatedFrom, updatedTo)
- listAllKnowledgeSets(updatedFrom, updatedTo)
特性：
- 时间参数构建为 HTTP 查询参数（ISO_LOCAL_DATE_TIME 格式）
- 客户端侧双重过滤（兼容上游未支持的场景）
- 参数校验：updatedFrom > updatedTo 时抛出异常
- null 元素安全处理：过滤列表中的 null 项
- 无参版本保留向后兼容
测试：
- 新增 DataManagementClientTest.java（28 个测试用例）
- 覆盖 URL 参数拼接、参数校验、本地过滤、null 安全、分页等场景
- 测试结果：162 tests, 0 failures
代码审查：
- Codex 两轮审查通过
- 修复 P2 问题：null 元素安全处理
|
2026-02-18 14:00:01 +08:00 |
|
|
|
75db6daeb5
|
feat(kg): 实现查询阶段的用户数据权限过滤
新增功能：
- 查询阶段权限过滤：管理员看全部，普通用户只看自己创建的数据
- 结构实体（User、Org、Field）对所有用户可见
- 业务实体（Dataset、Workflow、Job、LabelTask、KnowledgeSet）按 created_by 过滤
- CONFIDENTIAL 敏感度过滤：需要特定权限才能查看
安全修复（四轮迭代）：
P1-1: CONFIDENTIAL 敏感度过滤
- 4 个查询入口统一计算 excludeConfidential
- assertEntityAccess / isEntityAccessible 新增保密数据检查
- buildPermissionPredicate 在 Cypher 中追加 sensitivity 条件
P1-2: 结构实体按类型白名单判定
- 新增常量 STRUCTURAL_ENTITY_TYPES = Set.of("User", "Org", "Field")
- 业务实体必须匹配 created_by（缺失则拒绝）
- Cypher 从 IS NULL OR 改为 type IN ['User', 'Org', 'Field'] OR
P2-1: getNeighborGraph 路径级权限旁路
- 改为 ALL(n IN nodes(p) WHERE ...) 路径全节点过滤
- 与 getShortestPath 保持一致
P2-2: CONFIDENTIAL 大小写归一化
- Cypher 用 toUpper(trim(...)) 比较
- Java 用 equalsIgnoreCase
- 与 data-management-service 保持一致
权限模型：
- 同步阶段：全量同步（保持图谱完整性）
- 查询阶段：根据用户权限过滤结果
- 使用 RequestUserContextHolder 和 ResourceAccessService
代码变更：+642 行，-32 行
测试结果：130 tests, 0 failures
新增 9 个测试用例
已知 P3 问题（非阻断，可后续优化）：
- 组件扫描范围偏大
- 测试质量可进一步增强
- 结构实体白名单重复维护
|
2026-02-18 12:24:09 +08:00 |
|
|
|
ebb4548ca5
|
feat(kg): 补全知识图谱实体同步和关系构建
新增功能：
- 补全 4 类实体同步：Workflow、Job、LabelTask、KnowledgeSet
- 补全 7 类关系构建：USES_DATASET、PRODUCES、ASSIGNED_TO、TRIGGERS、DEPENDS_ON、IMPACTS、SOURCED_FROM
- 新增 39 个测试用例，总计 111 个测试
问题修复（三轮迭代）：
第一轮（6 个问题）：
- toStringList null/blank 过滤
- mergeUsesDatasetRelations 统一逻辑
- fetchAllPaged 去重抽取
- IMPACTS 占位标记
- 测试断言增强
- syncAll 固定索引改 Map
第二轮（2 个问题）：
- 活跃 ID 空值/空白归一化（两层防御）
- 关系构建 N+1 查询消除（预加载 Map）
第三轮（1 个问题）：
- 空元素 NPE 防御（GraphSyncService 12 处 + GraphSyncStepService 6 处）
代码变更：+1936 行，-101 行
测试结果：111 tests, 0 failures
已知 P3 问题（非阻塞）：
- 安全注释与实现不一致（待权限过滤任务一起处理）
- 测试覆盖缺口（可后续补充）
|
2026-02-18 11:30:38 +08:00 |
|
|
|
37b478a052
|
fix(kg): 修复 Codex 审查发现的 P1/P2 问题并补全测试
修复内容：
P1 级别（关键）：
1. 数据隔离漏洞：邻居查询添加 graph_id 路径约束，防止跨图谱数据泄漏
2. 空快照误删风险：添加 allowPurgeOnEmptySnapshot 保护开关（默认 false）
3. 弱默认凭据：启动自检，生产环境检测到默认密码直接拒绝启动
P2 级别（重要）：
4. 配置校验：importBatchSize 添加 @Min(1) 验证，启动时 fail-fast
5. N+1 性能：重写 upsertEntity 为单条 Cypher 查询（从 3 条优化到 1 条）
6. 服务认证：添加 mTLS/JWT 文档说明
7. 错误处理：改进 Schema 初始化和序列化错误处理
测试覆盖：
- 新增 69 个单元测试，全部通过
- GraphEntityServiceTest: 13 个测试（CRUD、验证、分页）
- GraphRelationServiceTest: 13 个测试（CRUD、方向验证）
- GraphSyncServiceTest: 5 个测试（验证、全量同步）
- GraphSyncStepServiceTest: 14 个测试（空快照保护、N+1 验证）
- GraphQueryServiceTest: 13 个测试（邻居/路径/子图/搜索）
- GraphInitializerTest: 11 个测试（凭据验证、Schema 初始化）
技术细节：
- 数据隔离：使用 ALL() 函数约束路径中所有节点和关系的 graph_id
- 空快照保护：新增配置项 allow-purge-on-empty-snapshot 和错误码 EMPTY_SNAPSHOT_PURGE_BLOCKED
- 凭据检查：Java 和 Python 双端实现，根据环境（dev/test/prod）采取不同策略
- 性能优化：使用 SDN 复合属性格式（properties.key）在 MERGE 中直接设置属性
- 属性安全：使用白名单 [a-zA-Z0-9_] 防止 Cypher 注入
代码变更：+210 行，-29 行
|
2026-02-18 09:25:00 +08:00 |
|
