q792602257/DataMate
0
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
566 Commits 1 Branch 0 Tags
37b478a0524f06b96ac4929254e68c2f69b9669c
Commit Graph

21 Commits

Author SHA1 Message Date
Jerry Yan
5a553ddde3 feat(knowledge-graph): 实现知识图谱基础设施搭建 
实现功能：
- Neo4j Docker Compose 配置（社区版，端口 7474/7687，数据持久化）
- Makefile 新增 Neo4j 命令（neo4j-up/down/logs/shell）
- knowledge-graph-service Spring Boot 服务（完整的 DDD 分层架构）
- kg_extraction Python 模块（基于 LangChain LLMGraphTransformer）

技术实现：
- Neo4j 配置：环境变量化密码，统一默认值 datamate123
- Java 服务：
  - Domain: GraphEntity, GraphRelation 实体模型
  - Repository: Spring Data Neo4j，支持 graphId 范围查询
  - Service: 业务逻辑，graphId 双重校验，查询限流
  - Controller: REST API，UUID 格式校验
  - Exception: 实现 ErrorCode 接口，统一异常体系
- Python 模块：
  - KnowledgeGraphExtractor 类
  - 支持异步/同步/批量抽取
  - 支持 schema-guided 模式
  - 兼容 OpenAI 及自部署模型

关键设计：
- graphId 权限边界：所有实体操作都在正确的 graphId 范围内
- 查询限流：depth 和 limit 参数受配置约束
- 异常处理：统一使用 BusinessException + ErrorCode
- 凭据管理：环境变量化，避免硬编码
- 双重防御：Controller 格式校验 + Service 业务校验

代码审查：
- 经过 3 轮 Codex 审查和 2 轮 Claude 修复
- 所有 P0 和 P1 问题已解决
- 编译通过，无阻塞性问题

文件变更：
- 新增：Neo4j 配置、knowledge-graph-service（11 个 Java 文件）、kg_extraction（3 个 Python 文件）
- 修改：Makefile、pom.xml、application.yml、pyproject.toml
 2026-02-17 20:42:55 +08:00
Jerry Yan
71f8f7d1c3 feat: 实现任务拆分和分配功能 
## 功能概述
实现完整的任务拆分、分配和进度跟踪功能，支持将任务拆分为子任务并分配给不同用户。

## Phase 1: 数据库层
- 新增 t_task_meta 表（任务元数据协调表）
- 新增 t_task_assignment_log 表（分配日志表）
- 新增 3 个权限条目（read/write/assign）
- 新增 SQLAlchemy ORM 模型

## Phase 2: 后端 API (Java)
- 新增 task-coordination-service 模块（32 个文件）
- 实现 11 个 API 端点：
  - 任务查询（列表、子任务、我的任务）
  - 任务拆分（支持 4 种策略）
  - 任务分配（单个、批量、重新分配、撤回）
  - 进度管理（查询、更新、聚合）
  - 分配日志
- 集成权限控制和路由规则

## Phase 3: 前端 UI (React + TypeScript)
- 新增 10 个文件（模型、API、组件、页面）
- 实现 5 个核心组件：
  - SplitTaskDialog - 任务拆分对话框
  - AssignTaskDialog - 任务分配对话框
  - BatchAssignDialog - 批量分配对话框
  - TaskProgressPanel - 进度面板
  - AssignmentLogDrawer - 分配记录
- 实现 2 个页面：
  - TaskCoordination - 任务管理主页
  - MyTasks - 我的任务页面
- 集成侧边栏菜单和路由

## 问题修复
- 修复 getMyTasks 分页参数缺失
- 修复子任务 assignee 信息缺失（批量查询优化）
- 修复 proportion 精度计算（余量分配）

## 技术亮点
- 零侵入设计：通过独立协调表实现，不修改现有模块
- 批量查询优化：避免 N+1 查询问题
- 4 种拆分策略：按比例/数量/文件/手动
- 进度自动聚合：子任务更新自动聚合到父任务
- 权限细粒度控制：read/write/assign 三级权限

## 验证
- Maven 编译：✅ 零错误
- TypeScript 编译：✅ 零错误
- Vite 生产构建：✅ 成功
 2026-02-09 00:42:34 +08:00
Jerry Yan
4fa0ac1df4 config(security): 禁用安全配置中的frameOptions以允许iframe嵌入 
- 在SecurityFilterChain中添加headers配置
- 禁用frameOptions以解决iframe嵌入限制问题
- 保持csrf禁用和其他现有安全设置不变
 2026-01-31 13:57:38 +08:00
hefanli
63f4e3e447 refactor: modify data collection to python implementation (#214) 
* feature: LabelStudio jumps without login

* refactor: modify data collection to python implementation

* refactor: modify data collection to python implementation

* refactor: modify data collection to python implementation

* refactor: modify data collection to python implementation

* refactor: modify data collection to python implementation

* refactor: modify data collection to python implementation

* fix: remove terrabase dependency

* feature: add the collection task executions page and the collection template page

* fix: fix the collection task creation

* fix: fix the collection task creation
 2025-12-30 18:48:43 +08:00
hefanli
e5b28c26b1 add gateway (#187) 
* feature: add gateway
 2025-12-22 15:41:17 +08:00
hefanli
758cf93e36 feature: 增加压缩包上传功能 (#137) 
* feature: 增加压缩包上传功能

* fix: 删除文件时数据集关于文件的相关统计信息也刷新

* fix: 增加k8s常见下评估服务的路由
 2025-12-09 14:42:27 +08:00
hhhhsc701
7a9530c1e3 feature: 增加对redis未部署时异常捕获 (#131) 
* feature: 增加download-deer-flow

* feature: 增加对redis未部署时异常捕获

* feature: clean code
 2025-12-04 16:09:29 +08:00
Dallas98
e300d13c21 feat: Enhance dataset file management with improved file copying 2025-11-14 23:30:28 +08:00
Dallas98
15498f27cf feat: add file copying functionality to dataset directory and update base path configuration #80 2025-11-13 16:52:14 +08:00
Dallas98
aa01f52535 合并拉取请求 #74 
* feat: Implement system parameter management with Redis integration
 2025-11-11 22:13:14 +08:00
hhhhsc701
f3958f08d9 feature: 对接deer-flow (#54) 
feature: 对接deer-flow
 2025-11-04 20:30:40 +08:00
Dallas98
e854a0288a feat: update knowledge base processing to use KnowledgeBase object and enhance configuration (#46) 
* feat: update knowledge base processing to use KnowledgeBase object and enhance configuration
 2025-10-31 13:16:05 +08:00
Dallas98
8d2b41ed94 feature: Implement the basic knowledge generation function (#40) 2025-10-30 16:50:54 +08:00
hhhhsc701
67eb571d8d feature: 对接deer-flow (#27) 
feature: 对接deer-flow
 2025-10-28 16:28:26 +08:00
Dallas98
a4b5238621 refactor: simplify package scanning by using wildcard for mapper packages (#28) 
* refactor: rename artifactId and application name to 'datamate'; add model configuration and related services

* refactor: simplify package scanning by using wildcard for mapper packages
 2025-10-28 14:12:44 +08:00
hhhhsc
41e7e684c3 Merge branch 'main' into develop_deer 2025-10-28 11:03:01 +08:00
hhhhsc
a69b9f4921 feature: 对接deer-flow 2025-10-28 10:54:29 +08:00
Dallas98
f54afddbeb refactor: rename artifactId and application name to 'datamate'; add model configuration and related services (#26) 2025-10-28 10:39:26 +08:00
hhhhsc
2d2419205a refactor: rename and reorganize data models and repositories for clarity 2025-10-24 15:33:46 +08:00
hhhhsc701
31ef8bc265 [Feature] Refactor project to use 'datamate' naming convention for services and configurations (#14) 
* Enhance CleaningTaskService to track cleaning process progress and update ExecutorType to DATAMATE

* Refactor project to use 'datamate' naming convention for services and configurations
 2025-10-22 17:53:16 +08:00
Dallas98
1c97afed7d init datamate 2025-10-21 23:00:48 +08:00