q792602257/DataMate
0
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
588 Commits 1 Branch 0 Tags
ca37bc5a3bd07284bc6e6020696c1c208c9ce870
Commit Graph

12 Commits

Author SHA1 Message Date
Jerry Yan
e9e4cf3b1c fix(kg): 修复知识图谱部署流程问题 
修复从全新部署到运行的完整流程中的配置和路由问题。

## P0 修复（功能失效）

### P0-1: GraphRAG KG 服务 URL 错误
- config.py - GRAPHRAG_KG_SERVICE_URL 从 http://datamate-kg:8080 改为 http://datamate-backend:8080（容器名修正）
- kg_client.py - 修复 API 路径：/knowledge-graph/... → /api/knowledge-graph/...
- kb_access.py - 同类问题修复：/knowledge-base/... → /api/knowledge-base/...
- test_kb_access.py - 测试断言同步更新

根因：容器名 datamate-kg 不存在，且 httpx 绝对路径会丢弃 base_url 中的 /api 路径

### P0-2: Vite 开发代理剥离 /api 前缀
- vite.config.ts - 删除 /api/knowledge-graph 专用代理规则（剥离 /api 导致 404），统一走 ^/api 规则

## P1 修复（功能受损）

### P1-1: Gateway 缺少 KG Python 端点路由
- ApiGatewayApplication.java - 添加 /api/kg/** 路由（指向 kg-extraction Python 服务）
- ApiGatewayApplication.java - 添加 /api/graphrag/** 路由（指向 GraphRAG 服务）

### P1-2: DATA_MANAGEMENT_URL 默认值缺 /api
- KnowledgeGraphProperties.java - dataManagementUrl 默认值 http://localhost:8080 → http://localhost:8080/api
- KnowledgeGraphProperties.java - annotationServiceUrl 默认值 http://localhost:8081 → http://localhost:8080/api（同 JVM）
- application-knowledgegraph.yml - YAML 默认值同步更新

### P1-3: Neo4j k8s 安装链路失败
- Makefile - VALID_K8S_TARGETS 添加 neo4j
- Makefile - %-k8s-install 添加 neo4j case（显式 skip，提示使用 Docker 或外部实例）
- Makefile - %-k8s-uninstall 添加 neo4j case（显式 skip）

根因：install 目标无条件调用 neo4j-$(INSTALLER)-install，但 k8s 模式下 neo4j 不在 VALID_K8S_TARGETS 中，导致 "Unknown k8s target 'neo4j'" 错误

## P2 修复（次要）

### P2-1: Neo4j 加入 Docker install 流程
- Makefile - install target 增加 neo4j-$(INSTALLER)-install，在 datamate 之前启动
- Makefile - VALID_SERVICE_TARGETS 增加 neo4j
- Makefile - %-docker-install / %-docker-uninstall 增加 neo4j case

## 验证结果
- mvn test: 311 tests, 0 failures ✅
- eslint: 0 errors ✅
- tsc --noEmit: 通过 ✅
- vite build: 成功 (17.71s) ✅
- Python tests: 46 passed ✅
- make -n install INSTALLER=k8s: 不再报 unknown target ✅
- make -n neo4j-k8s-install: 正确显示 skip 消息 ✅
 2026-02-23 01:15:31 +08:00
Jerry Yan
3a9afe3480 feat(kg): 实现 Phase 3.2 Human-in-the-loop 编辑 
核心功能：
- 实体/关系编辑表单（创建/更新/删除）
- 批量操作（批量删除节点/边）
- 审核流程（提交审核 → 待审核列表 → 通过/拒绝）
- 编辑模式切换（查看/编辑模式）
- 权限控制（knowledgeGraphWrite 权限）

新增文件（后端，9 个）：
- EditReview.java - 审核记录领域模型（Neo4j 节点）
- EditReviewRepository.java - 审核记录仓储（CRUD + 分页查询）
- EditReviewService.java - 审核业务服务（提交/通过/拒绝，通过时自动执行变更）
- EditReviewController.java - REST API（POST submit, POST approve/reject, GET pending）
- DTOs: SubmitReviewRequest, EditReviewVO, ReviewActionRequest, BatchDeleteRequest
- EditReviewServiceTest.java - 单元测试（21 tests）
- EditReviewControllerTest.java - 集成测试（10 tests）

新增文件（前端，3 个）：
- EntityEditForm.tsx - 实体创建/编辑表单（Modal，支持名称/类型/描述/别名/置信度）
- RelationEditForm.tsx - 关系创建/编辑表单（Modal，支持源/目标实体搜索、关系类型、权重/置信度）
- ReviewPanel.tsx - 审核面板（待审核列表，通过/拒绝操作，拒绝带备注）

修改文件（后端，7 个）：
- GraphEntityService.java - 新增 batchDeleteEntities()，updateEntity 支持 confidence
- GraphRelationService.java - 新增 batchDeleteRelations()
- GraphEntityController.java - 删除批量删除端点（改为审核流程）
- GraphRelationController.java - 删除批量删除端点（改为审核流程）
- UpdateEntityRequest.java - 添加 confidence 字段
- KnowledgeGraphErrorCode.java - 新增 REVIEW_NOT_FOUND、REVIEW_ALREADY_PROCESSED
- PermissionRuleMatcher.java - 添加 /api/knowledge-graph/** 写操作权限规则

修改文件（前端，8 个）：
- knowledge-graph.model.ts - 新增 EditReviewVO、ReviewOperationType、ReviewStatus 类型
- knowledge-graph.api.ts - BASE 改为 /api/knowledge-graph（走网关权限链），新增审核相关 API，删除批量删除直删方法
- vite.config.ts - 更新 dev proxy 路径
- NodeDetail.tsx - 新增 editMode 属性，编辑模式下显示编辑/删除按钮
- RelationDetail.tsx - 新增 editMode 属性，编辑模式下显示编辑/删除按钮
- KnowledgeGraphPage.tsx - 新增编辑模式开关（需要 knowledgeGraphWrite 权限）、创建实体/关系工具栏按钮、审核 Tab、批量操作
- GraphCanvas.tsx - 支持多选（editMode 时）、onSelectionChange 回调
- graphConfig.ts - 支持 multiSelect 参数

审核流程：
- 所有编辑操作（创建/更新/删除/批量删除）都通过 submitReview 提交审核
- 审核通过后，EditReviewService.applyChange() 自动执行变更
- 批量删除端点已删除，只能通过审核流程

权限控制：
- API 路径从 /knowledge-graph 改为 /api/knowledge-graph，走网关权限链
- 编辑模式开关需要 knowledgeGraphWrite 权限
- PermissionRuleMatcher 添加 /api/knowledge-graph/** 写操作规则

Bug 修复（Codex 审查后修复）：
- P0: 权限绕过（API 路径改为 /api/knowledge-graph）
- P1: 审核流程未接入（所有编辑操作改为 submitReview）
- P1: 批量删除绕过审核（删除直删端点，改为审核流程）
- P1: confidence 字段丢失（UpdateEntityRequest 添加 confidence）
- P2: 审核提交校验不足（添加跨字段校验器）
- P2: 批量删除安全（添加 @Size(max=100) 限制，收集失败 ID）
- P2: 前端错误处理（分开处理表单校验和 API 失败）

测试结果：
- 后端: 311 tests pass ✅ (280 → 311, +31 new)
- 前端: eslint clean ✅, tsc clean ✅, vite build success ✅
 2026-02-20 20:38:03 +08:00
Jerry Yan
2f8645a011 fix(auth): harden confidential knowledge access checks and sensitivity filtering 2026-02-09 17:09:34 +08:00
Jerry Yan
71f8f7d1c3 feat: 实现任务拆分和分配功能 
## 功能概述
实现完整的任务拆分、分配和进度跟踪功能，支持将任务拆分为子任务并分配给不同用户。

## Phase 1: 数据库层
- 新增 t_task_meta 表（任务元数据协调表）
- 新增 t_task_assignment_log 表（分配日志表）
- 新增 3 个权限条目（read/write/assign）
- 新增 SQLAlchemy ORM 模型

## Phase 2: 后端 API (Java)
- 新增 task-coordination-service 模块（32 个文件）
- 实现 11 个 API 端点：
  - 任务查询（列表、子任务、我的任务）
  - 任务拆分（支持 4 种策略）
  - 任务分配（单个、批量、重新分配、撤回）
  - 进度管理（查询、更新、聚合）
  - 分配日志
- 集成权限控制和路由规则

## Phase 3: 前端 UI (React + TypeScript)
- 新增 10 个文件（模型、API、组件、页面）
- 实现 5 个核心组件：
  - SplitTaskDialog - 任务拆分对话框
  - AssignTaskDialog - 任务分配对话框
  - BatchAssignDialog - 批量分配对话框
  - TaskProgressPanel - 进度面板
  - AssignmentLogDrawer - 分配记录
- 实现 2 个页面：
  - TaskCoordination - 任务管理主页
  - MyTasks - 我的任务页面
- 集成侧边栏菜单和路由

## 问题修复
- 修复 getMyTasks 分页参数缺失
- 修复子任务 assignee 信息缺失（批量查询优化）
- 修复 proportion 精度计算（余量分配）

## 技术亮点
- 零侵入设计：通过独立协调表实现，不修改现有模块
- 批量查询优化：避免 N+1 查询问题
- 4 种拆分策略：按比例/数量/文件/手动
- 进度自动聚合：子任务更新自动聚合到父任务
- 权限细粒度控制：read/write/assign 三级权限

## 验证
- Maven 编译：✅ 零错误
- TypeScript 编译：✅ 零错误
- Vite 生产构建：✅ 成功
 2026-02-09 00:42:34 +08:00
Jerry Yan
056cee11cc feat(auth): 完善API网关JWT认证和权限控制功能 
- 实现网关侧JWT工具类和权限规则匹配器
- 集成JWT认证流程，支持Bearer Token验证
- 添加基于路径和HTTP方法的权限控制机制
- 配置白名单路由规则，优化认证性能
- 更新前端受保护路由组件，实现权限验证
- 添加403禁止访问页面和权限检查逻辑
- 重构登录页面，集成实际认证API调用
- 实现用户信息获取和权限加载功能
- 优化全局异常处理器中的认证错误状态码
- 集成FastJSON2和JJWT依赖库支持
 2026-02-06 13:21:20 +08:00
hefanli
63f4e3e447 refactor: modify data collection to python implementation (#214) 
* feature: LabelStudio jumps without login

* refactor: modify data collection to python implementation

* refactor: modify data collection to python implementation

* refactor: modify data collection to python implementation

* refactor: modify data collection to python implementation

* refactor: modify data collection to python implementation

* refactor: modify data collection to python implementation

* fix: remove terrabase dependency

* feature: add the collection task executions page and the collection template page

* fix: fix the collection task creation

* fix: fix the collection task creation
 2025-12-30 18:48:43 +08:00
hefanli
215d7f0612 Fix the ratio task bug (#194) 
* fix: add feign client configurations

* fix: add nacos configurations

* fix: add python to gateway

* fix: Fix the ratio task bug
 2025-12-24 11:40:26 +08:00
hhhhsc701
6d61348388 feat: deer-flow通过gateway转发 (#193) 2025-12-23 11:35:45 +08:00
hefanli
c1516c87b6 Feat gateway (#191) 
* fix: fix the routes definition

* fix: fix the helm installing file

* fix: modify the logging dependencies
 2025-12-22 18:58:55 +08:00
hefanli
e5b28c26b1 add gateway (#187) 
* feature: add gateway
 2025-12-22 15:41:17 +08:00
Dallas98
f54afddbeb refactor: rename artifactId and application name to 'datamate'; add model configuration and related services (#26) 2025-10-28 10:39:26 +08:00
Dallas98
1c97afed7d init datamate 2025-10-21 23:00:48 +08:00