q792602257/DataMate
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
554 Commits 1 Branch 0 Tags
06a7cd9abd4404f72bf4daee3fa0c8a1a2d1701c
Commit Graph
100 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
q792602257andClaude Opus 4.6 06a7cd9abd feat(auth): 角色管理CRUD与角色权限绑定功能
CodeQL Advanced / Analyze (java-kotlin) (push) Has been cancelled
Details
CodeQL Advanced / Analyze (javascript-typescript) (push) Has been cancelled
Details
CodeQL Advanced / Analyze (python) (push) Has been cancelled
Details
CodeQL Advanced / Analyze (actions) (push) Has been cancelled
Details 
新增角色创建/编辑/删除接口和角色-权限绑定接口，支持管理员自定义角色并灵活配置权限。
前端新增角色CRUD弹窗、按模块分组的权限配置面板，内置角色禁止删除但允许编辑和配置权限。

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-02-10 00:09:48 +08:00
q792602257andClaude Opus 4.6 ea7ca5474e fix(annotation): 标注配置可视化编辑器根据父节点类型限制子标签选项 
根据选中节点类型动态过滤"添加子节点"和"添加同级节点"下拉选项：
- 标注控件（如 Choices/RectangleLabels）仅允许添加对应的子标签（Choice/Label）
- 无子节点的控件（如 TextArea/Rating）和数据对象标签禁用添加子节点
- Choice 节点允许嵌套 Choice（支持 Taxonomy 层级结构）
- View 容器允许添加所有标签类型但排除裸子标签

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-02-09 23:34:41 +08:00
q792602257andClaude Opus 4.6 8ffa131fad feat(annotation): 自动标注任务支持非图像类型数据集（TEXT/AUDIO/VIDEO） 
移除自动标注任务创建流程中的 IMAGE-only 限制，使 TEXT、AUDIO、VIDEO
类型数据集均可用于自动标注任务。

- 新增数据库迁移：t_dm_auto_annotation_tasks 表添加 dataset_type 列
- 后端 schema/API/service 全链路传递 dataset_type
- Worker 动态构建 sample key（image/text/audio/video）和输出目录
- 前端移除数据集类型校验，下拉框显示数据集类型标识
- 输出数据集继承源数据集类型，不再硬编码为 IMAGE
- 保持向后兼容：默认值为 IMAGE，worker 有元数据回退和目录 fallback

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-02-09 23:23:05 +08:00
q792602257andClaude Opus 4.6 807c2289e2 feat(annotation): 文件版本更新时支持保留标注记录（位置偏移+文字匹配迁移） 
新增 AnnotationMigrator 迁移算法，在 TEXT 类型数据集的文件版本更新时，
可选通过 difflib 位置偏移映射和文字二次匹配将旧版本标注迁移到新版本上。
前端版本切换对话框增加"保留标注"复选框（仅 TEXT 类型显示），后端 API
增加 preserveAnnotations 参数，完全向后兼容。

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-02-09 19:42:59 +08:00
q792602257 7d5a809772 fix: 重命名 task-coordination-init.sql 以修复数据库初始化顺序问题 
将 task-coordination-init.sql 重命名为 zz-task-coordination-init.sql，
确保其在 zz-auth-init.sql 之后执行，解决 t_auth_permissions 表
不存在的问题。

Fixes: ERROR 1146 (42S02) Table 'datamate.t_auth_permissions' doesn't exist
 2026-02-09 19:04:55 +08:00
q792602257 2f8645a011 fix(auth): harden confidential knowledge access checks and sensitivity filtering 2026-02-09 17:09:34 +08:00
q792602257 71f8f7d1c3 feat: 实现任务拆分和分配功能 
## 功能概述
实现完整的任务拆分、分配和进度跟踪功能，支持将任务拆分为子任务并分配给不同用户。

## Phase 1: 数据库层
- 新增 t_task_meta 表（任务元数据协调表）
- 新增 t_task_assignment_log 表（分配日志表）
- 新增 3 个权限条目（read/write/assign）
- 新增 SQLAlchemy ORM 模型

## Phase 2: 后端 API (Java)
- 新增 task-coordination-service 模块（32 个文件）
- 实现 11 个 API 端点：
  - 任务查询（列表、子任务、我的任务）
  - 任务拆分（支持 4 种策略）
  - 任务分配（单个、批量、重新分配、撤回）
  - 进度管理（查询、更新、聚合）
  - 分配日志
- 集成权限控制和路由规则

## Phase 3: 前端 UI (React + TypeScript)
- 新增 10 个文件（模型、API、组件、页面）
- 实现 5 个核心组件：
  - SplitTaskDialog - 任务拆分对话框
  - AssignTaskDialog - 任务分配对话框
  - BatchAssignDialog - 批量分配对话框
  - TaskProgressPanel - 进度面板
  - AssignmentLogDrawer - 分配记录
- 实现 2 个页面：
  - TaskCoordination - 任务管理主页
  - MyTasks - 我的任务页面
- 集成侧边栏菜单和路由

## 问题修复
- 修复 getMyTasks 分页参数缺失
- 修复子任务 assignee 信息缺失（批量查询优化）
- 修复 proportion 精度计算（余量分配）

## 技术亮点
- 零侵入设计：通过独立协调表实现，不修改现有模块
- 批量查询优化：避免 N+1 查询问题
- 4 种拆分策略：按比例/数量/文件/手动
- 进度自动聚合：子任务更新自动聚合到父任务
- 权限细粒度控制：read/write/assign 三级权限

## 验证
- Maven 编译：✅ 零错误
- TypeScript 编译：✅ 零错误
- Vite 生产构建：✅ 成功
 2026-02-09 00:42:34 +08:00
q792602257 78624915b7 feat(annotation): 添加标注任务算子编排前端页面和测试算子 
## 功能概述
为标注任务通用算子编排功能添加完整的前端界面，包括任务创建、列表管理、详情查看等功能，并提供测试算子用于功能验证。

## 改动内容

### 前端功能

#### 1. 算子编排页面
- 新增两步创建流程：
  - 第一步：基本信息（数据集选择、任务名称等）
  - 第二步：算子编排（选择算子、配置参数、预览 pipeline）
- 核心文件：
  - frontend/src/pages/DataAnnotation/OperatorCreate/CreateTask.tsx
  - frontend/src/pages/DataAnnotation/OperatorCreate/hooks/useOperatorOperations.ts
  - frontend/src/pages/DataAnnotation/OperatorCreate/hooks/useDragOperators.ts
  - frontend/src/pages/DataAnnotation/OperatorCreate/hooks/useCreateStepTwo.tsx

#### 2. UI 组件
- 算子库（OperatorLibrary）：显示可用算子，支持分类筛选
- 编排区（OperatorOrchestration）：拖拽排序算子
- 参数面板（OperatorConfig）：配置算子参数
- Pipeline 预览（PipelinePreview）：预览算子链
- 核心文件：frontend/src/pages/DataAnnotation/OperatorCreate/components/

#### 3. 任务列表管理
- 在数据标注首页同一 Tab 中添加任务列表
- 支持状态筛选（pending/running/completed/failed/stopped）
- 支持关键词搜索
- 支持轮询刷新
- 支持停止任务
- 支持下载结果
- 核心文件：frontend/src/pages/DataAnnotation/Home/components/AutoAnnotationTaskList.tsx

#### 4. 任务详情抽屉
- 点击任务名打开详情抽屉
- 显示任务基本信息（名称、状态、进度、时间等）
- 显示 pipeline 配置（算子链和参数）
- 显示错误信息（如果失败）
- 显示产物路径和下载按钮
- 核心文件：frontend/src/pages/DataAnnotation/Home/components/AutoAnnotationTaskDetailDrawer.tsx

#### 5. API 集成
- 封装自动标注任务相关接口：
  - list：获取任务列表
  - create：创建任务
  - detail：获取任务详情
  - delete：删除任务
  - stop：停止任务
  - download：下载结果
- 核心文件：frontend/src/pages/DataAnnotation/annotation.api.ts

#### 6. 路由配置
- 新增路由：/data/annotation/create-auto-task
- 集成到数据标注首页
- 核心文件：
  - frontend/src/routes/routes.ts
  - frontend/src/pages/DataAnnotation/Home/DataAnnotation.tsx

#### 7. 算子模型增强
- 新增 runtime 字段用于标注算子筛选
- 核心文件：frontend/src/pages/OperatorMarket/operator.model.ts

### 后端功能

#### 1. 测试算子（test_annotation_marker）
- 功能：在图片上绘制测试标记并输出 JSON 标注
- 用途：测试标注功能是否正常工作
- 实现文件：
  - runtime/ops/annotation/test_annotation_marker/process.py
  - runtime/ops/annotation/test_annotation_marker/metadata.yml
  - runtime/ops/annotation/test_annotation_marker/__init__.py

#### 2. 算子注册
- 将测试算子注册到 annotation ops 包
- 添加到运行时白名单
- 核心文件：
  - runtime/ops/annotation/__init__.py
  - runtime/python-executor/datamate/auto_annotation_worker.py

#### 3. 数据库初始化
- 添加测试算子到数据库
- 添加算子分类关联
- 核心文件：scripts/db/data-operator-init.sql

### 问题修复

#### 1. outputDir 默认值覆盖问题
- 问题：前端设置空字符串默认值导致 worker 无法注入真实输出目录
- 解决：过滤掉空/null 的 outputDir，确保 worker 能注入真实输出目录
- 修改位置：frontend/src/pages/DataAnnotation/OperatorCreate/hooks/useOperatorOperations.ts

#### 2. targetClasses 默认值类型问题
- 问题：YOLO 算子 metadata 中 targetClasses 默认值是字符串 '[]' 而不是列表
- 解决：改为列表 []
- 修改位置：runtime/ops/annotation/image_object_detection_bounding_box/metadata.yml

## 关键特性

### 用户体验
- 统一的算子编排界面（与数据清洗保持一致）
- 直观的拖拽操作
- 实时的 pipeline 预览
- 完整的任务管理功能

### 功能完整性
- 任务创建：两步流程，清晰明了
- 任务管理：列表展示、状态筛选、搜索
- 任务操作：停止、下载
- 任务详情：完整的信息展示

### 可测试性
- 提供测试算子用于功能验证
- 支持快速测试标注流程

## 验证结果

- ESLint 检查：✅ 通过
- 前端构建：✅ 通过（10.91s）
- 功能测试：✅ 所有功能正常

## 部署说明

1. 执行数据库初始化脚本（如果是新环境）
2. 重启前端服务
3. 重启后端服务（如果修改了 worker 白名单）

## 使用说明

1. 进入数据标注页面
2. 点击创建自动标注任务
3. 选择数据集和文件
4. 从算子库拖拽算子到编排区
5. 配置算子参数
6. 预览 pipeline
7. 提交任务
8. 在任务列表中查看进度
9. 点击任务名查看详情
10. 下载标注结果

## 相关文件

- 前端页面：frontend/src/pages/DataAnnotation/OperatorCreate/
- 任务管理：frontend/src/pages/DataAnnotation/Home/components/
- API 集成：frontend/src/pages/DataAnnotation/annotation.api.ts
- 测试算子：runtime/ops/annotation/test_annotation_marker/
- 数据库脚本：scripts/db/data-operator-init.sql
 2026-02-08 08:17:35 +08:00
q792602257 2f49fc4199 feat(annotation): 支持通用算子编排的数据标注功能 
## 功能概述
将数据标注模块从固定 YOLO 算子改造为支持通用算子编排，实现与数据清洗模块类似的灵活算子组合能力。

## 改动内容

### 第 1 步：数据库改造（DDL）
- 新增 SQL migration 脚本：scripts/db/data-annotation-operator-pipeline-migration.sql
- 修改 t_dm_auto_annotation_tasks 表：
  - 新增字段：task_mode, executor_type, pipeline, output_dataset_id, created_by, stop_requested, started_at, heartbeat_at, run_token
  - 新增索引：idx_status_created, idx_created_by
- 创建 t_dm_annotation_task_operator_instance 表：用于存储算子实例详情

### 第 2 步：API 层改造
- 扩展请求模型（schema/auto.py）：
  - 新增 OperatorPipelineStep 模型
  - 支持 pipeline 字段，保留旧 YOLO 字段向后兼容
  - 实现多写法归一（operatorId/operator_id/id, overrides/settingsOverride/settings_override）
- 修改任务创建服务（service/auto.py）：
  - 新增 validate_file_ids() 校验方法
  - 新增 _to_pipeline() 兼容映射方法
  - 写入新字段并集成算子实例表
  - 修复 fileIds 去重准确性问题
- 新增 API 路由（interface/auto.py）：
  - 新增 /operator-tasks 系列接口
  - 新增 stop API 接口（/auto/{id}/stop 和 /operator-tasks/{id}/stop）
  - 保留旧 /auto 接口向后兼容
- ORM 模型对齐（annotation_management.py）：
  - AutoAnnotationTask 新增所有 DDL 字段
  - 新增 AnnotationTaskOperatorInstance 模型
  - 状态定义补充 stopped

### 第 3 步：Runtime 层改造
- 修改 worker 执行逻辑（auto_annotation_worker.py）：
  - 实现原子任务抢占机制（run_token）
  - 从硬编码 YOLO 改为通用 pipeline 执行
  - 新增算子解析和实例化能力
  - 支持 stop_requested 检查
  - 保留 legacy_yolo 模式向后兼容
  - 支持多种算子调用方式（execute 和 __call__）

### 第 4 步：灰度发布
- 完善 YOLO 算子元数据（metadata.yml）：
  - 补齐 raw_id, language, modal, inputs, outputs, settings 字段
- 注册标注算子（__init__.py）：
  - 将 YOLO 算子注册到 OPERATORS 注册表
  - 确保 annotation 包被正确加载
- 新增白名单控制：
  - 支持环境变量 AUTO_ANNOTATION_OPERATOR_WHITELIST
  - 灰度发布时可限制可用算子

## 关键特性

### 向后兼容
- 旧 /auto 接口完全保留
- 旧请求参数自动映射到 pipeline
- legacy_yolo 模式确保旧逻辑正常运行

### 新功能
- 支持通用 pipeline 编排
- 支持多算子组合
- 支持任务停止控制
- 支持白名单灰度发布

### 可靠性
- 原子任务抢占（防止重复执行）
- 完整的错误处理和状态管理
- 详细的审计追踪（算子实例表）

## 部署说明

1. 执行 DDL：mysql < scripts/db/data-annotation-operator-pipeline-migration.sql
2. 配置环境变量：AUTO_ANNOTATION_OPERATOR_WHITELIST=ImageObjectDetectionBoundingBox
3. 重启服务：datamate-runtime 和 datamate-backend-python

## 验证步骤

1. 兼容模式验证：使用旧 /auto 接口创建任务
2. 通用编排验证：使用新 /operator-tasks 接口创建 pipeline 任务
3. 原子 claim 验证：检查 run_token 机制
4. 停止验证：测试 stop API
5. 白名单验证：测试算子白名单拦截

## 相关文件

- DDL: scripts/db/data-annotation-operator-pipeline-migration.sql
- API: runtime/datamate-python/app/module/annotation/
- Worker: runtime/python-executor/datamate/auto_annotation_worker.py
- 算子: runtime/ops/annotation/image_object_detection_bounding_box/
 2026-02-07 22:35:33 +08:00
q792602257 9efc07935f fix(db): 更新数据库初始化脚本中的默认用户密码 
- 在初始化脚本中添加默认密码注释说明
- 更新 admin 用户的密码哈希值
- 更新 knowledge_user 用户的密码哈希值
- 确保本地开发环境密码一致性
 2026-02-07 17:00:19 +08:00
q792602257 7264e111ae chore(db): 移除数据标注初始化脚本中的Alembic版本查询 
- 删除了数据库初始化脚本末尾的Alembic版本查询语句
- 保留了内置标注模板插入成功提示信息
- 简化了数据标注初始化脚本的输出结果
 2026-02-07 16:24:21 +08:00
q792602257 3dd4035005 feat: 完善数据标注导出格式兼容性验证 
- 后端：添加 YOLO 格式对 TEXT 数据集的限制验证
- 后端：统一 COCO/YOLO 兼容性校验规则（仅允许图像类或目标检测类数据集）
- 后端：修复 datasetType 字段传递，在任务列表响应中补充 dataset_type
- 前端：在导出对话框中禁用 TEXT 数据集的 COCO/YOLO 选项
- 前端：添加 datasetType 和 labelingType 字段传递
- 前端：对齐前后端 COCO/YOLO 兼容性规则
- 前端：优化提示文案，明确说明格式适用范围

修改文件：
- runtime/datamate-python/app/module/annotation/service/export.py
- runtime/datamate-python/app/module/annotation/service/mapping.py
- runtime/datamate-python/app/module/annotation/schema/mapping.py
- frontend/src/pages/DataAnnotation/Home/ExportAnnotationDialog.tsx
- frontend/src/pages/DataAnnotation/Home/DataAnnotation.tsx
- frontend/src/pages/DataAnnotation/annotation.const.tsx
 2026-02-07 16:05:57 +08:00
q792602257 36b410ba7b feat(annotation): 添加导出格式与数据集类型的兼容性检查 
- 实现 COCO 格式导出前的数据集类型验证
- COCO 格式仅适用于图像类和目标检测类数据集
- 文本类数据集尝试导出 COCO 格式时返回 HTTP 400 错误
- 添加清晰的错误提示信息，建议使用其他格式

新增功能：
- 数据集类型常量定义（TEXT、IMAGE、OBJECT_DETECTION）
- COCO 兼容类型集合
- 类型值标准化方法
- 数据集类型查询方法
- 模板标注类型解析方法
- 导出格式兼容性验证方法

相关文件：
- runtime/datamate-python/app/module/annotation/service/export.py (+94, -7)

Reviewed-by: Codex AI
 2026-02-07 16:05:57 +08:00
q792602257 329382db47 fix(pdf): 优化PDF文本提取服务异常处理 
- 添加FeignException专门处理逻辑
- 实现详细的Feign异常日志记录功能
- 新增响应体解析和根因链构建方法
- 添加异常消息规范化处理
- 改进错误日志的可读性和调试信息完整度
 2026-02-06 18:52:51 +08:00
q792602257 e862925a06 feat(export): 添加逻辑路径构建功能支持文件管理 
- 在导出服务中实现_build_logical_path方法用于构建相对路径
- 更新数据集文件记录以包含logical_path字段
- 在比率任务服务中实现build_logical_path静态方法
- 将逻辑路径信息添加到数据集文件记录中
- 规范化路径处理并替换反斜杠为正斜杠
- 添加无效路径验证防止目录遍历安全问题
 2026-02-06 18:46:44 +08:00
q792602257 05752678cc feat(dataset): 添加PDF提取服务中的逻辑路径构建功能 
- 移除重复的csv导入语句
- 添加_build_logical_path方法用于构建文件逻辑路径
- 在_create_text_file_record方法中增加logical_path参数
- 更新记录创建调用以传递逻辑路径参数
- 验证逻辑路径不为空并抛出相应异常
- 将逻辑路径存储到数据集文件记录中
 2026-02-06 18:30:44 +08:00
q792602257 0f1dd9ec8d Merge remote-tracking branch 'gitea/lsf' into lsf 2026-02-06 18:29:58 +08:00
q792602257 38add27d84 fix: 修复 Codex 审查发现的两个数据一致性问题 
- [P1] 调整删除顺序：先删除数据库记录，成功后再删除派生文件
  避免源文件删除失败时派生文件已被删除导致的数据不一致

- [P2] 完善 logicalPath 空值判断：使用 StringUtils.isBlank() 处理
  null、空字符串和纯空白字符，防止误删其他文件

Fixes review comments from commits f9f4ea3
 2026-02-06 18:00:32 +08:00
q792602257 f9f4ea352e fix: 修复 codex 审查发现的两个问题 
- [P1] 当 logicalPath 为 null 时，直接删除当前文件（兼容旧数据）
- [P2] 数据库删除失败时，return 跳过后续清理以避免数据不一致
 2026-02-06 17:42:59 +08:00
q792602257 24d8ee49a1 feat: 优化文件删除逻辑，支持级联删除版本和派生文件 
- 删除文件时，如果存在多个版本，一并删除所有版本

- 删除PDF/doc/docx/xls/xlsx时，一并删除其派生的txt文件

- 文件删除失败时记录日志但不影响删除成功
 2026-02-06 17:23:37 +08:00
q792602257 38e58ba864 Merge branch 'rbac' into lsf 2026-02-06 15:44:43 +08:00
q792602257 cd5f5ef6da fix(annotation): fix use_new_version to support files without annotation 
Problem:
use_new_version returned 404 annotation not found for files without
annotation, preventing users from switching to new versions.

Solution:
1. Query latest file by logical_path
2. Update LabelingProjectFile to point to latest version
3. If annotation exists: clear it and update file_id
4. If no annotation: just update project file snapshot
5. Return new file_id in response
 2026-02-06 15:22:57 +08:00
q792602257 1f6c821cbc fix(annotation): show new version warning even without annotation 
Change has_new_version logic to compare current file version with
latest version, regardless of whether annotation exists.

Before: Only show warning if annotation exists and version is outdated
After: Show warning if current file is not the latest version

This ensures users are informed when viewing an old file version,
even if they haven't started annotating yet.
 2026-02-06 15:17:51 +08:00
q792602257 44a1f2193f fix(annotation): fix file version check to compare with latest version by logical path 
Problem:
check_file_version was comparing annotation version with the passed
file_id's version, but when files are updated, new file records are
created with higher versions and old ones are marked ARCHIVED.

Solution:
1. Query the latest ACTIVE file by logical_path
2. Compare annotation version with latest file version
3. Return latestFileId so frontend can switch to new version

Changes:
- check_file_version now queries latest version by logical_path
- Added latest_file_id to FileVersionCheckResponse schema
- Updated descriptions to clarify currentFileVersion is latest version

Database scenario:
- old file: id=6dae9f2f, version=1, status=ARCHIVED
- new file: id=3365b4e7, version=3, status=ACTIVE
- Both have same logical_path='rufus.ini'
- Now correctly detects version 3 > annotation version
 2026-02-06 15:11:54 +08:00
q792602257 6a4c4ae3d7 feat(auth): 为数据管理和RAG服务增加资源访问控制 
- 在DatasetApplicationService中注入ResourceAccessService并添加所有权验证
- 在KnowledgeSetApplicationService中注入ResourceAccessService并添加所有权验证
- 修改DatasetRepository接口和实现类，增加按创建者过滤的方法
- 修改KnowledgeSetRepository接口和实现类，增加按创建者过滤的方法
- 在RAG索引器服务中添加知识库访问权限检查和作用域过滤
- 更新实体元对象处理器以使用请求用户上下文获取当前用户
- 在前端设置页面添加用户权限管理功能和角色权限控制
- 为Python标注服务增加用户上下文和数据集访问权限验证
 2026-02-06 14:58:46 +08:00
q792602257 c6dccf5e29 fix(python): remove datetime.UTC usage for Python 3.10 compatibility 
Replace datetime.datetime.now(datetime.UTC) with datetime.datetime.now()
to fix compatibility issues with Python 3.10 and earlier versions.

datetime.UTC is only available in Python 3.11+, causing 500 errors
in production environment.

Files fixed:
- app/module/dataset/service/pdf_extract.py
- app/module/generation/service/export_service.py
 2026-02-06 13:34:27 +08:00
q792602257 fbc83b5610 revert(db): remove Alembic migration system 
Remove Alembic database migration system in favor of delta scripts:

Deleted:
- runtime/datamate-python/alembic.ini (config file)
- runtime/datamate-python/alembic/env.py (environment config)
- runtime/datamate-python/alembic/script.py.mako (migration template)
- runtime/datamate-python/alembic/versions/20250205_0001_add_file_version.py (migration)

Modified:
- scripts/db/data-annotation-init.sql
  - Removed alembic_version table creation and version insertion
  - Kept file_version column in t_dm_annotation_results

Rationale:
- Alembic migration testing failed in production
- Delta scripts are simpler and more reliable for this project
- SQL init scripts contain complete schema including latest changes
 2026-02-06 13:29:44 +08:00
q792602257 056cee11cc feat(auth): 完善API网关JWT认证和权限控制功能 
- 实现网关侧JWT工具类和权限规则匹配器
- 集成JWT认证流程，支持Bearer Token验证
- 添加基于路径和HTTP方法的权限控制机制
- 配置白名单路由规则，优化认证性能
- 更新前端受保护路由组件，实现权限验证
- 添加403禁止访问页面和权限检查逻辑
- 重构登录页面，集成实际认证API调用
- 实现用户信息获取和权限加载功能
- 优化全局异常处理器中的认证错误状态码
- 集成FastJSON2和JJWT依赖库支持
 2026-02-06 13:21:20 +08:00
q792602257 f8f9faaa06 feat(runtime): 添加 Pillow 图像处理库依赖 
- 在 poetry.lock 中新增 pillow 包及其所有版本的依赖信息
- 支持多种操作系统平台包括 macOS、Linux、Windows 和 iOS
- 支持多种架构包括 x86_64、arm64、aarch64 和 win32
- 支持 Python 版本从 3.9 到 3.14 的完整兼容性
- 包含多种文件格式如 wheel 和 tar.gz 校验信息
- 添加了文档、测试和类型检查相关的可选依赖配置
 2026-02-06 13:21:01 +08:00
q792602257 719f54bf2e feat(annotation): 完善文件版本管理和标注同步功能 
- 将 useNewVersionUsingPost 重命名为 applyNewVersionUsingPost
- 添加 fileVersionCheckSeqRef 避免版本检查竞态条件
- 移除 checkingFileVersion 状态变量的渲染依赖
- 在文件版本信息中添加 annotationVersionUnknown 字段
- 修复前端文件版本比较显示的 JSX 语法
- 添加历史标注缺少版本信息的提示显示
- 配置 Alembic 异步数据库迁移环境支持 aiomysql
- 添加文件版本未知状态的后端判断逻辑
- 实现标注清除时的段落注释清理功能
- 添加知识库同步钩子到版本更新流程
 2026-02-05 23:22:49 +08:00
q792602257 5507adeb45 fix(knowledge): 优化知识项文件删除逻辑 
- 添加内容类型检查，仅处理文件类型的知识项
- 修改源类型判断条件，提前返回非文件上传和手动创建的类型
- 保持原有的文件路径解析和删除操作逻辑
- 维持异常处理和日志记录功能
 2026-02-05 21:24:12 +08:00
q792602257 48cf49d064 feat(db): update SQL init script and Alembic migration for compatibility 
Update data-annotation-init.sql and Alembic migration to support both new and old deployments:

SQL Initialization Script (data-annotation-init.sql):
- Add file_version column to t_dm_annotation_results table
- Add Alembic version table creation and version insertion
- New deployments using this script will have latest schema and Alembic version marked

Alembic Migration (20250205_0001_add_file_version.py):
- Add column_exists() helper function to detect if column already exists
- Add compatibility check in upgrade(): skip if column exists (new SQL init)
- Add informative print messages for deployment clarity
- Enhanced docstrings explaining compatibility strategy

Deployment Scenarios:
1. New deployment with latest SQL script: Schema created with file_version, Alembic marked as applied
2. Old deployment upgrade: Alembic detects missing column and adds it

This ensures backward compatibility while supporting fresh installs with complete schema.
 2026-02-05 21:17:17 +08:00
q792602257 f5cb265667 feat(annotation): implement file version management for annotation feature 
Add support for detecting new file versions and switching to them:

Backend Changes:
- Add file_version column to AnnotationResult model
- Create Alembic migration for database schema update
- Implement check_file_version() method to compare annotation and file versions
- Implement use_new_version() method to clear annotations and update version
- Update upsert_annotation() to record file version when saving
- Add new API endpoints: GET /version and POST /use-new-version
- Add FileVersionCheckResponse and UseNewVersionResponse schemas

Frontend Changes:
- Add checkFileVersionUsingGet and useNewVersionUsingPost API calls
- Add version warning banner showing current vs latest file version
- Add 'Use New Version' button with confirmation dialog
- Clear version info state when switching files to avoid stale warnings

Bug Fixes:
- Fix previousFileVersion returning updated value (save before update)
- Handle null file_version for historical data compatibility
- Fix segmented annotation clearing (preserve structure, clear results)
- Fix files without annotations incorrectly showing new version warnings
- Preserve total_segments when clearing segmented annotations

Files Modified:
- frontend/src/pages/DataAnnotation/Annotate/LabelStudioTextEditor.tsx
- frontend/src/pages/DataAnnotation/annotation.api.ts
- runtime/datamate-python/app/db/models/annotation_management.py
- runtime/datamate-python/app/module/annotation/interface/editor.py
- runtime/datamate-python/app/module/annotation/schema/editor.py
- runtime/datamate-python/app/module/annotation/service/editor.py

New Files:
- runtime/datamate-python/alembic.ini
- runtime/datamate-python/alembic/env.py
- runtime/datamate-python/alembic/script.py.mako
- runtime/datamate-python/alembic/versions/20250205_0001_add_file_version.py
 2026-02-05 20:12:07 +08:00
q792602257 4143bc75f9 fix: 修复codex review发现的问题 
问题1 - 行锁持有时间过长：
- 采用双重检查锁定模式，将HTTP调用移到锁范围外
- 新增 _update_knowledge_set_config 方法专门处理加锁更新

问题2 - 清理不完整：
- _list_knowledge_sets 方法添加分页参数
- 新增 _list_all_knowledge_sets 方法遍历所有知识集
- 清理方法使用新的全量查询方法

问题3 - 文件删除逻辑可能误删：
- deleteKnowledgeItemFile 方法增加严格的 sourceType 检查
- 只有当 sourceType 为 FILE_UPLOAD 或 MANUAL 时才删除文件
- 避免误删 DATASET_FILE 类型的数据集文件

涉及文件：
- knowledge_sync.py
- KnowledgeItemApplicationService.java
 2026-02-05 04:07:40 +08:00
q792602257 99bd83d312 fix: 修复知识库同步的并发控制、数据清理、文件事务和COCO导出问题 
问题1 - 并发控制缺失：
- 在 _ensure_knowledge_set 方法中添加数据库行锁（with_for_update）
- 修改 _update_project_config 方法，使用行锁保护配置更新

问题3 - 数据清理机制缺失：
- 添加 _cleanup_knowledge_set_for_project 方法，项目删除时清理知识集
- 添加 _cleanup_knowledge_item_for_file 方法，文件删除时清理知识条目
- 在 delete_mapping 接口中调用清理方法

问题4 - 文件操作事务问题：
- 修改 uploadKnowledgeItems，添加事务失败后的文件清理逻辑
- 修改 deleteKnowledgeItem，删除记录前先删除关联文件
- 新增 deleteKnowledgeItemFile 辅助方法

问题5 - COCO导出格式问题：
- 添加 _get_image_dimensions 方法读取图片实际宽高
- 将百分比坐标转换为像素坐标
- 在 AnnotationExportItem 中添加 file_path 字段

涉及文件：
- knowledge_sync.py
- project.py
- KnowledgeItemApplicationService.java
- export.py
- export schema.py
 2026-02-05 03:55:01 +08:00
q792602257 c03bdf1a24 refactor(data-management): 移除未使用的数据库操作方法并优化查询条件 
- 从 DatasetFileMapper 中移除未使用的 update 和 deleteById 方法
- 从 DatasetMapper 中移除未使用的 deleteById 方法
- 在 Python 项目中添加 or_ 操作符导入用于复杂查询
- 为数据集文件查询添加状态过滤条件，排除已归档的文件记录
 2026-02-05 03:21:06 +08:00
q792602257 9057807ec1 fix(database): 解决数据管理表联合索引长度超限问题 
- 为 logical_path 字段创建前缀索引以避免索引长度超限
- 添加注释说明 utf8mb4 下索引长度按字节计算的限制
- 提供后续优化建议：使用 hash 生成列方案替代 VARCHAR 索引
 2026-02-05 02:17:58 +08:00
q792602257 f15fd044ce fix(data-management): 修复SQL映射中的比较运算符转义问题 
- 将XML文件中的 <> 运算符替换为 &lt;&gt; 实体编码
- 确保SQL查询在XML解析器中正确处理比较操作
- 修复了数据集文件状态过滤的查询逻辑
- 保持了原有的业务逻辑不变，仅修正语法问题
 2026-02-05 02:07:31 +08:00
q792602257 d0972cbc9d feat(data-management): 实现数据集文件版本管理和内部路径保护 
- 将数据集文件查询方法替换为只查询可见文件的版本
- 引入文件状态管理（ACTIVE/ARCHIVED）和内部目录结构
- 实现文件重复处理策略，支持版本控制模式而非覆盖
- 添加内部数据目录保护，防止访问.datamate等系统目录
- 重构文件上传流程，引入暂存目录和事务后清理机制
- 实现文件版本归档功能，保留历史版本到专用存储位置
- 优化文件路径规范化和安全验证逻辑
- 修复文件删除逻辑，确保归档文件不会被错误移除
- 更新数据集压缩下载功能以排除内部系统文件
 2026-02-04 23:53:35 +08:00
q792602257 473f4e717f feat(annotation): 添加文本分段索引显示功能 
- 实现了分段索引数组的生成逻辑
- 添加了分段索引网格显示界面
- 支持当前分段高亮显示
- 优化了分段导航的用户体验
- 替换了原有的分段提示文字为可视化索引组件
 2026-02-04 19:16:48 +08:00
q792602257 6b0042cb66 refactor(annotation): 简化任务选择逻辑并移除未使用的状态管理 
- 移除了 resolveSegmentSummary 函数调用以简化完成状态判断
- 删除了未使用的 segmentStats 相关引用和缓存清理代码
- 简化了重置模式下的状态更新逻辑
 2026-02-04 18:23:49 +08:00
q792602257 fa9e9d9f68 refactor(annotation): 简化文本标注编辑器的段落管理功能 
- 移除段落统计相关的数据结构和缓存逻辑
- 删除段落切换确认对话框和自动保存选项
- 简化段落加载和状态管理流程
- 将段落列表视图替换为简单的进度显示
- 更新API接口以支持单段内容获取
- 重构后端服务实现单段内容查询功能
 2026-02-04 18:08:14 +08:00
q792602257 707e65b017 refactor(annotation): 优化编辑器服务中的分段处理逻辑 
- 在处理分段注释时初始化 segments 列表变量
- 确保分段信息列表在函数开始时被正确初始化
- 提高代码可读性和变量声明的一致性
 2026-02-04 17:35:14 +08:00
q792602257 cda22a720c feat(annotation): 优化文本标注分段功能实现 
- 新增 getEditorTaskSegmentsUsingGet 接口用于获取任务分段信息
- 移除 SegmentInfo 中的 text、start、end 字段，精简数据结构
- 添加 EditorTaskSegmentsResponse 类型定义用于分段摘要响应
- 实现服务端 get_task_segments 方法，支持分段信息查询
- 重构前端组件缓存机制，使用 segmentSummaryFileRef 管理分段状态
- 优化分段构建逻辑，提取 _build_segment_contexts 公共方法
- 调整后端 _build_text_task 方法中的分段处理流程
- 更新 API 类型定义，统一 RequestParams 和 RequestPayload 类型
 2026-02-04 16:59:04 +08:00
q792602257 394e2bda18 feat(data-management): 添加数据集文件取消上传功能 
- 在OpenAPI规范中定义了取消上传的REST端点接口
- 实现了DatasetFileApplicationService中的取消上传业务逻辑
- 在FileService中添加了完整的取消上传服务方法
- 创建了DatasetUploadController控制器处理取消上传请求
- 实现了临时分片文件清理和数据库记录删除功能
 2026-02-04 16:25:03 +08:00
q792602257 4220284f5a refactor(utils): 重构文件流式分割上传功能 
- 将 streamSplitAndUpload 函数拆分为独立的 processFileLines 函数
- 简化文件按行处理逻辑，移除冗余的行收集和缓存机制
- 优化并发上传实现，使用 Promise 集合管理上传任务
- 修复上传过程中断信号处理和错误传播机制
- 统一进度回调参数结构，改进字节和行数跟踪逻辑
- 优化空行跳过计数和上传结果返回值处理
 2026-02-04 16:11:03 +08:00
q792602257 8415166949 refactor(upload): 重构切片上传逻辑支持动态请求ID解析 
- 移除预先批量获取reqId的方式，改为按需解析
- 新增resolveReqId函数支持动态获取请求ID
- 添加onReqIdResolved回调处理ID解析完成事件
- 改进文件按行切片上传，每行作为独立文件处理
- 优化空行跳过逻辑，统计跳过的空行数量
- 修复fileNo和chunkNo的对应关系
- 更新streamSplitAndUpload参数结构
 2026-02-04 15:58:58 +08:00
q792602257 078f303f57 Revert "fix: 修复 hasArchive 和 splitByLine 同时存在的问题" 
This reverts commit 50f2da5503.
 2026-02-04 15:48:01 +08:00
q792602257 50f2da5503 fix: 修复 hasArchive 和 splitByLine 同时存在的问题 
问题：hasArchive 默认为 true，而 splitByLine 可以与其同时开启，
      导致压缩包被错误地按行分割，产生逻辑矛盾。

修复：
1. 当 hasArchive=true 时，禁用 splitByLine switch
2. 添加 useEffect，当 hasArchive 变为 true 时自动关闭 splitByLine

修改文件：frontend/src/pages/DataManagement/Detail/components/ImportConfiguration.tsx
 2026-02-04 15:43:53 +08:00
q792602257 3af1daf8b6 fix: 修复流式分割上传的"预上传请求不存在"错误 
问题：handleStreamUpload 中为所有文件只调用一次 preUpload，设置
      totalFileNum: files.length（原始文件数），但实际上传的文件数量
      是按行分割后的总行数，导致后端提前删除预上传请求。

修复：将 preUpload 调用移到文件循环内部，为每个原始文件单独调用
      preUpload，设置 totalFileNum: 1，每个文件有自己的 reqId。
      这样可以避免按行分割导致的请求被提前删除问题。

修改文件：frontend/src/hooks/useSliceUpload.tsx
 2026-02-04 15:39:05 +08:00
q792602257 7c7729434b fix: 修复流式分割上传的三个问题 
1. 实现真正的并发控制，避免同时产生大量请求
   - 使用任务队列模式，确保同时运行的任务不超过 maxConcurrency
   - 完成一个任务后才启动下一个，而不是一次性启动所有任务

2. 修复 API 错误（预上传请求不存在）
   - 所有分片使用相同的 fileNo=1（属于同一个预上传请求）
   - chunkNo 改为行号，表示第几行数据
   - 这是根本原因：之前每行都被当作不同文件，但只有第一个文件有有效的预上传请求

3. 保留原始文件扩展名
   - 正确提取并保留文件扩展名
   - 例如：132.txt → 132_000001.txt（而不是 132_000001）
 2026-02-04 15:06:02 +08:00
q792602257 17a62cd3c2 fix: 修复上传取消功能，确保 HTTP 请求正确中止 
- 在 XMLHttpRequest 中添加 signal.aborted 检查
- 修复 useSliceUpload 中的 cancelFn 闭包问题
- 确保流式上传和分片上传都能正确取消
 2026-02-04 14:51:23 +08:00
q792602257 f381d641ab fix(upload): 修复流式上传中的文件名处理逻辑 
- 修正预上传接口调用时传递正确的文件总数而非固定值-1
- 移除导入配置中文件分割时的文件扩展名保留逻辑
- 删除流式上传选项中的fileExtension参数定义
- 移除流式上传实现中的文件扩展名处理相关代码
- 简化新文件名生成逻辑，不再附加扩展名后缀
 2026-02-04 07:47:41 +08:00
q792602257 c8611d29ff feat(upload): 实现流式分割上传，优化大文件上传体验 
实现边分割边上传的流式处理，避免大文件一次性加载导致前端卡顿。

修改内容：
1. file.util.ts - 流式分割上传核心功能
   - 新增 streamSplitAndUpload 函数，实现边分割边上传
   - 新增 shouldStreamUpload 函数，判断是否使用流式上传
   - 新增 StreamUploadOptions 和 StreamUploadResult 接口
   - 优化分片大小（默认 5MB）

2. ImportConfiguration.tsx - 智能上传策略
   - 大文件（>5MB）使用流式分割上传
   - 小文件（≤5MB）使用传统分割方式
   - 保持 UI 不变

3. useSliceUpload.tsx - 流式上传处理
   - 新增 handleStreamUpload 处理流式上传事件
   - 支持并发上传和更好的进度管理

4. TaskUpload.tsx - 进度显示优化
   - 注册流式上传事件监听器
   - 显示流式上传信息（已上传行数、当前文件等）

5. dataset.model.ts - 类型定义扩展
   - 新增 StreamUploadInfo 接口
   - TaskItem 接口添加 streamUploadInfo 和 prefix 字段

实现特点：
- 流式读取：使用 Blob.slice 逐块读取，避免一次性加载
- 逐行检测：按换行符分割，形成完整行后立即上传
- 内存优化：buffer 只保留当前块和未完成行，不累积所有分割结果
- 并发控制：支持 3 个并发上传，提升效率
- 进度可见：实时显示已上传行数和总体进度
- 错误处理：单个文件上传失败不影响其他文件
- 向后兼容：小文件仍使用原有分割方式

优势：
- 大文件上传不再卡顿，用户体验大幅提升
- 内存占用显著降低（从加载整个文件到只保留当前块）
- 上传效率提升（边分割边上传，并发上传多个小文件）

相关文件：
- frontend/src/utils/file.util.ts
- frontend/src/pages/DataManagement/Detail/components/ImportConfiguration.tsx
- frontend/src/hooks/useSliceUpload.tsx
- frontend/src/pages/Layout/TaskUpload.tsx
- frontend/src/pages/DataManagement/dataset.model.ts
 2026-02-03 13:12:10 +00:00
q792602257 147beb1ec7 feat(annotation): 实现文本切片预生成功能 
在创建标注任务时自动预生成文本切片结构，避免每次进入标注页面时的实时计算。

修改内容：
1. 在 AnnotationEditorService 中新增 precompute_segmentation_for_project 方法
   - 为项目的所有文本文件预计算切片结构
   - 使用 AnnotationTextSplitter 执行切片
   - 将切片结构持久化到 AnnotationResult 表（状态为 IN_PROGRESS）
   - 支持失败重试机制
   - 返回统计信息

2. 修改 create_mapping 接口
   - 在创建标注任务后，如果启用分段且为文本数据集，自动触发切片预生成
   - 使用 try-except 捕获异常，确保切片失败不影响项目创建

特点：
- 使用现有的 AnnotationTextSplitter 类
- 切片数据结构与现有分段标注格式一致
- 向后兼容（未切片的任务仍然使用实时计算）
- 性能优化：避免进入标注页面时的重复计算

相关文件：
- runtime/datamate-python/app/module/annotation/service/editor.py
- runtime/datamate-python/app/module/annotation/interface/project.py
 2026-02-03 12:59:29 +00:00
q792602257 699031dae7 fix: 修复编辑数据集时无法清除关联数据集的编译问题 
问题分析：
之前尝试使用 @TableField(updateStrategy = FieldStrategy.IGNORED/ALWAYS) 注解
来强制更新 null 值，但 FieldStrategy.ALWAYS 可能不存在于当前
MyBatis-Plus 3.5.14 版本中，导致编译错误。

修复方案：
1. 移除 Dataset.java 中 parentDatasetId 字段的 @TableField(updateStrategy) 注解
2. 移除不需要的 import com.baomidou.mybatisplus.annotation.FieldStrategy
3. 在 DatasetApplicationService.updateDataset 方法中：
   - 添加 import com.baomidou.mybatisplus.core.conditions.update.LambdaUpdateWrapper
   - 保存原始的 parentDatasetId 值用于比较
   - handleParentChange 之后，检查 parentDatasetId 是否发生变化
   - 如果发生变化，使用 LambdaUpdateWrapper 显式地更新 parentDatasetId 字段
   - 这样即使值为 null 也能被正确更新到数据库

原理：
MyBatis-Plus 的 updateById 方法默认只更新非 null 字段。
通过使用 LambdaUpdateWrapper 的 set 方法，可以显式地设置字段值，
包括 null 值，从而确保字段能够被正确更新到数据库。
 2026-02-03 11:09:15 +00:00
q792602257 88b1383653 fix: 恢复前端发送空字符串以支持清除关联数据集 
修改说明：
移除了之前将空字符串转换为 undefined 的逻辑，
现在直接发送表单值，包括空字符串。

配合后端修改（commit cc6415c）：
1. 当用户选择"无关联数据集"时，发送空字符串 ""
2. 后端 handleParentChange 方法通过 normalizeParentId 将空字符串转为 null
3. Dataset.parentDatasetId 字段添加了 @TableField(updateStrategy = FieldStrategy.IGNORED)
4. 确保即使值为 null 也会被更新到数据库
 2026-02-03 10:57:14 +00:00
q792602257 cc6415c4d9 fix: 修复编辑数据集时无法清除关联数据集的问题 
问题描述：
在数据管理的数据集编辑中，如果之前设置了关联数据集，编辑时选择不关联数据集后保存不会生效。

根本原因：
MyBatis-Plus 的 updateById 方法默认使用 FieldStrategy.NOT_NULL 策略，
只有当字段值为非 null 时才会更新到数据库。
当 parentDatasetId 从有值变为 null 时，默认情况下不会更新到数据库。

修复方案：
在 Dataset.java 的 parentDatasetId 字段上添加 @TableField(updateStrategy = FieldStrategy.IGNORED) 注解，
表示即使值为 null 也需要更新到数据库。

配合前端修改（恢复发送空字符串），现在可以正确清除关联数据集：
1. 前端发送空字符串表示"无关联数据集"
2. 后端 handleParentChange 通过 normalizeParentId 将空字符串转为 null
3. dataset.setParentDatasetId(null) 设置为 null
4. 由于添加了 IGNORED 策略，即使为 null 也会更新到数据库
 2026-02-03 10:57:08 +00:00
q792602257 3d036c4cd6 fix: 修复编辑数据集时无法清除关联数据集的问题 
问题描述：
在数据管理的数据集编辑中，如果之前设置了关联数据集，编辑时选择不关联数据集后保存不会生效。

问题原因：
后端 updateDataset 方法中的条件判断：
```java
if (updateDatasetRequest.getParentDatasetId() != null) {
    handleParentChange(dataset, updateDatasetRequest.getParentDatasetId());
}
```
当 parentDatasetId 为 null 或空字符串时，条件判断为 false，不会执行 handleParentChange，导致无法清除关联数据集。

修复方案：
去掉条件判断，始终调用 handleParentChange。handleParentChange 内部通过 normalizeParentId 方法将空字符串和 null 都转换为 null，这样既支持设置新的父数据集，也支持清除关联。

配合前端修改（commit 2445235），将空字符串转换为 undefined（被后端反序列化为 null），确保清除关联的操作能够正确执行。
 2026-02-03 09:35:09 +00:00
q792602257 2445235fd2 fix: 修复编辑数据集时清除关联数据集不生效的问题 
问题描述：
在数据管理的数据集编辑中，如果之前设置了关联数据集，编辑时选择不关联数据集后保存不会生效。

问题原因：
- BasicInformation.tsx中，"无关联数据集"选项的值是空字符串""
- 当用户选择不关联数据集时，parentDatasetId的值为""
- 后端API将空字符串视为无效值而忽略，而不是识别为"清除关联"的操作

修复方案：
- 在EditDataset.tsx的handleSubmit函数中，将parentDatasetId的空字符串转换为undefined
- 使用 formValues.parentDatasetId || undefined 确保空字符串被转换为 undefined
- 这样后端API能正确识别为要清除关联数据集的操作
 2026-02-03 09:23:13 +00:00
q792602257 893e0a1580 fix: 上传文件时任务中心立即显示 
问题描述：
在数据管理的数据集详情页上传文件时，点击确认后，弹窗消失，但是需要等待文件处理（特别是启用按行分割时）后任务中心才弹出来，用户体验不好。

修改内容：
1. useSliceUpload.tsx: 在 createTask 函数中添加立即显示任务中心的逻辑，确保任务创建后立即显示
2. ImportConfiguration.tsx: 在 handleImportData 函数中，在执行耗时的文件处理操作（如文件分割）之前，立即触发 show:task-popover 事件显示任务中心

效果：
- 修改前：点击确认 → 弹窗消失 → （等待文件处理）→ 任务中心弹出
- 修改后：点击确认 → 弹窗消失 + 任务中心立即弹出 → 文件开始处理
 2026-02-03 09:14:40 +00:00
q792602257 05e6842fc8 refactor(DataManagement): 移除不必要的数据集类型过滤逻辑 
- 删除了对数据集类型的过滤操作
- 移除了不再使用的 textDatasetTypeOptions 变量
- 简化了 BasicInformation 组件的数据传递逻辑
- 减少了代码冗余，提高了组件性能
 2026-02-03 13:33:12 +08:00
q792602257 da5b18e423 feat(scripts): 添加 APT 缓存预装功能解决离线构建问题 
- 新增 APT 缓存目录和相关构建脚本 export-cache.sh
- 添加 build-base-images.sh 脚本用于构建预装 APT 包的基础镜像
- 增加 build-offline-final.sh 最终版离线构建脚本
- 更新 Makefile.offline.mk 添加新的离线构建目标
- 扩展 README.md 文档详细说明 APT 缓存问题解决方案
- 为多个服务添加使用预装基础镜像的离线 Dockerfile
- 修改打包脚本包含 APT 缓存到最终压缩包中
 2026-02-03 13:16:17 +08:00
q792602257 31629ab50b docs(offline): 更新离线构建文档添加传统构建方式和故障排查指南 
- 添加传统 docker build 方式作为推荐方案
- 新增离线环境诊断命令 make offline-diagnose
- 扩展故障排查章节，增加多个常见问题解决方案
- 添加文件清单和推荐工作流说明
- 为 BuildKit 构建器无法使用本地镜像问题提供多种解决方法
- 更新构建命令使用说明和重要提示信息
 2026-02-03 13:10:28 +08:00
q792602257 fb43052ddf feat(build): 添加传统 Docker 构建方式和诊断功能
CodeQL Advanced / Analyze (actions) (push) Has been cancelled
Details
CodeQL Advanced / Analyze (java-kotlin) (push) Has been cancelled
Details
CodeQL Advanced / Analyze (javascript-typescript) (push) Has been cancelled
Details
CodeQL Advanced / Analyze (python) (push) Has been cancelled
Details 
- 在 build-offline.sh 脚本中添加 --pull=false 参数并改进错误处理
- 为 Makefile.offline.mk 中的各个服务构建任务添加 --pull=false 参数
- 新增 build-offline-classic.sh 脚本，提供不使用 BuildKit 的传统构建方式
- 新增 build-offline-v2.sh 脚本，提供增强版 BuildKit 离线构建功能
- 新增 diagnose.sh 脚本，用于诊断离线构建环境状态
- 在 Makefile 中添加 offline-build-classic 和 offline-diagnose
 2026-02-02 23:53:45 +08:00
q792602257 c44c75be25 fix(login): 修复登录页面样式问题 
- 修正了标题下方描述文字的CSS类名，移除了错误的空格
- 更新了页脚版权信息的样式类名
- 简化了底部描述文本的内容，保持一致的品牌信息
 2026-02-02 22:49:46 +08:00
q792602257 05f3efc148 build(docker): 更新 Docker 镜像源为南京大学镜像地址 
- 将 frontend Dockerfile 中的基础镜像从 gcr.io 切换到 gcr.nju.edu.cn
- 更新 offline Dockerfile 中的 nodejs20-debian12 镜像源
- 修改 export-cache.sh 脚本中的基础镜像列表为南京大学镜像
- 更新 Makefile.offline.mk 中的镜像拉取地址为本地镜像源
- 优化 export-cache.sh 脚本的格式和输出信息
- 添加缓存导出过程中的警告处理机制
 2026-02-02 22:48:41 +08:00
q792602257 16eb5cacf9 feat(data-management): 添加知识项扩展元数据支持 
- 在 KnowledgeItemApplicationService 中实现元数据字段的更新逻辑
- 为 CreateKnowledgeItemRequest 添加 metadata 字段定义
- 为 UpdateKnowledgeItemRequest 添加 metadata 字段定义
- 支持知识项创建和更新时的扩展元数据存储
 2026-02-02 22:20:05 +08:00
q792602257 e71116d117 refactor(components): 更新标签组件类型定义和数据处理逻辑 
- 修改 Tag 接口定义，将 id 和 color 字段改为可选类型
- 更新 onAddTag 回调函数参数类型，从对象改为字符串
- 在 AddTagPopover 组件中添加 useCallback 优化数据获取逻辑
- 调整标签去重逻辑，支持 id 或 name 任一字段匹配
- 更新 DetailHeader 组件的数据类型定义和泛型约束
- 添加 parseMetadata 工具函数用于解析元数据
- 实现 isAnnotationItem 函数判断注释类型数据
- 优化知识库详情页的标签处理和数据类型转换
 2026-02-02 22:15:16 +08:00
q792602257 cac53d7aac fix(knowledge): 更新知识管理页面标题为知识集 
- 将页面标题从"知识管理"修改为"知识集"
 2026-02-02 21:49:39 +08:00
q792602257 43b4a619bc refactor(knowledge): 移除知识库创建中的扩展元数据字段 
- 删除了表单中的扩展元数据输入区域
- 移除了对应的 Form.Item 包装器
- 简化了创建知识库表单结构
 2026-02-02 21:48:21 +08:00
q792602257 9da187d2c6 feat(build): 添加离线构建支持 
- 新增 build-offline.sh 脚本实现无网环境构建
- 添加离线版 Dockerfiles 使用本地资源替代网络下载
- 创建 export-cache.sh 脚本在有网环境预下载依赖
- 集成 Makefile.offline.mk 提供便捷的离线构建命令
- 添加详细的离线构建文档和故障排查指南
- 实现基础镜像、BuildKit 缓存和外部资源的一键打包
 2026-02-02 21:44:44 +08:00
q792602257 b36fdd2438 feat(annotation): 添加数据类型过滤功能到标签配置树编辑器 
- 引入 DataType 枚举类型定义
- 根据数据类型动态过滤对象标签选项
- 在模板表单中添加数据类型监听
- 改进错误处理逻辑以提高类型安全性
- 集成数据类型参数到配置树编辑器组件
 2026-02-02 20:37:38 +08:00
q792602257 daa63bdd13 feat(knowledge): 移除知识库管理中的敏感级别功能 
- 注释掉创建知识集表单中的敏感级别选择字段
- 移除知识集详情页面中的敏感级别显示项
- 注释掉相关的敏感级别选项配置常量
- 更新表单布局以保持一致的两列网格结构
 2026-02-02 19:06:03 +08:00
q792602257 85433ac071 feat(template): 移除模板类型和版本字段并添加管理员权限控制 
- 移除了模板详情页面中的类型和版本显示字段
- 移除了模板列表页面中的类型和版本列
- 添加了管理员权限检查功能，通过 localStorage 键控制
- 将编辑和删除操作按钮限制为仅管理员可见
- 将创建模板按钮限制为仅管理员可见
 2026-02-02 18:59:32 +08:00
q792602257 fc2e50b415 Revert "refactor(template): 移除模板列表中的类型、版本和操作列" 
This reverts commit a5261b33b2.
 2026-02-02 18:39:52 +08:00
q792602257 26e1ae69d7 Revert "refactor(template): 移除模板列表页面的创建按钮" 
This reverts commit b2bdf9e066.
 2026-02-02 18:39:48 +08:00
q792602257 7092c3f955 feat(annotation): 调整文本编辑器大小限制配置 
- 将editor_max_text_bytes默认值从2MB改为0，表示不限制
- 更新文本获取服务中的大小检查逻辑，只在max_bytes大于0时进行限制
- 修改错误提示信息中的字节限制显示
- 优化配置参数的条件判断流程
 2026-02-02 17:53:09 +08:00
q792602257 b2bdf9e066 refactor(template): 移除模板列表页面的创建按钮 
- 删除了右上角的创建模板按钮组件
- 移除了相关的点击事件处理函数调用
- 调整了页面布局结构以适应按钮移除后的变化
 2026-02-02 16:35:09 +08:00
q792602257 a5261b33b2 refactor(template): 移除模板列表中的类型、版本和操作列 
- 移除了类型列（内置/自定义标签显示）
- 移除了版本列
- 移除了操作列（查看、编辑、删除按钮）
- 保留了创建时间列并维持其渲染逻辑
 2026-02-02 16:20:50 +08:00
q792602257 07a901043a refactor(annotation): 移除文本内容获取相关功能 
- 删除了 fetch_text_content_via_download_api 导入
- 移除了 TEXT 类型数据集的文本内容获取逻辑
- 删除了 _append_annotation_to_content 方法实现
- 简化了知识同步服务的内容处理流程
 2026-02-02 15:39:06 +08:00
q792602257 32e3fc97c6 feat(annotation): 增强知识库同步服务以支持项目隔离 
- 在知识库查找时添加项目ID验证，确保知识库归属正确
- 修改日志消息以显示项目ID信息便于调试
- 重构知识库查找逻辑，从按名称查找改为按名称和项目ID组合查找
- 新增_metadata_matches_project方法验证元数据中的项目归属
- 新增_parse_metadata方法安全解析元数据JSON字符串
- 更新回退命名逻辑以确保项目级别的唯一性
- 在所有知识库操作中统一使用项目名称和项目ID进行验证
 2026-02-02 15:28:33 +08:00
q792602257 a73571bd73 feat(annotation): 优化模板配置树编辑器中的属性填充逻辑 
- 修改对象配置属性填充条件，仅在名称不存在时设置默认值
- 为控制配置添加标签类别判断逻辑
- 区分标注类和布局类控件的属性填充策略
- 标注类控件始终填充必需属性，布局类控件仅在需要时填充
- 修复属性值设置逻辑，确保正确引用名称属性
 2026-02-02 15:26:25 +08:00
q792602257 00fa1b86eb refactor(DataAnnotation): 移除未使用的状态变量并优化选择器逻辑 
- 删除未使用的 addChildTag 和 addSiblingTag 状态变量
- 将 Select 组件的值设置为 null 以重置选择状态
- 简化 handleAddNode 调用的处理逻辑
- 移除不再需要的状态管理代码以提高性能
 2026-02-02 15:23:01 +08:00
q792602257 626c0fcd9a fix(data-annotation): 修复数据标注任务进度计算问题 
- 添加 toSafeCount 工具函数确保数值安全处理
- 支持 totalCount 和 total_count 字段兼容性
-
 2026-02-01 23:42:06 +08:00
q792602257 2f2e0d6a8d feat(KnowledgeManagement): 保留知识集原始字段信息 
- 在更新标签时保持知识集的名称、描述、状态等核心属性
- 保留领域、业务线、负责人等元数据信息
- 维护有效期、敏感度等配置项
- 确保源类型和自定义元数据字段不被覆盖
- 防止更新标签操作意外丢失其他重要字段值
 2026-02-01 23:30:01 +08:00
q792602257 10fad39e02 feat(KnowledgeManagement): 为知识集详情页添加标签功能 
- 引入 updateKnowledgeSetByIdUsingPut、createDatasetTagUsingPost 和 queryDatasetTagsUsingGet API
- 添加 Clock 图标用于显示更新时间
- 替换条目数和更新时间的图标为 File 和 Clock 组件
- 配置标签组件以支持添加、获取和创建标签
- 实现标签的创建和添加逻辑
- 集成标签的异步加载和更新功能
 2026-02-01 23:26:54 +08:00
q792602257 9014dca1ac fix(knowledge): 修复知识集详情页面状态判断逻辑 
- 修正了 office 预览状态的条件判断
- 移除了对 PENDING 状态的冗余检查
- 优化了状态轮询的触发条件
 2026-02-01 23:15:50 +08:00
q792602257 0b8fe34586 refactor(DataManagement): 简化文件操作逻辑并移除文本数据集类型检查 
- 移除了未使用的 DatasetType 导入
- 删除了 TEXT_DATASET_TYPE_PREFIX 常量定义
- 移除了 isTextDataset 工具函数
- 直接设置 excludeDerivedFiles 参数为 true，简化查询逻辑
 2026-02-01 23:13:09 +08:00
q792602257 27e27a09d4 fix(knowledge): 移除知识条目编辑器中的冗余提示消息 
- 删除了文件上传成功后的重复提示信息
- 保持了文件对象的正确处理逻辑
- 优化了用户体验避免不必要的操作反馈
 2026-02-01 23:07:32 +08:00
q792602257 d24fea83d8 feat(KnowledgeItemEditor): 添加文件上传替换功能的加载状态 
- 添加 loading 状态用于控制文件上传和替换操作
- 在文件上传前设置 loading 状态为 true
- 在文件替换前设置 loading 状态为 true
- 在操作完成后通过 finally 块重置 loading 状态
- 将 loading 状态绑定到确认按钮的 confirmLoading 属性
 2026-02-01 23:07:10 +08:00
q792602257 05088fef1a refactor(data-management): 优化文本数据集类型判断逻辑 
- 添加 TEXT_DATASET_TYPE_PREFIX 常量定义
- 新增 isTextDataset 工具函数用于判断文本数据集类型
- 使用 isTextDataset 函数替换原有的直接比较逻辑
- 提高代码可读性和类型判断的准确性
 2026-02-01 23:02:05 +08:00
q792602257 a0239518fb feat(dataset): 实现数据集文件可见性过滤功能 
- 添加派生文件识别逻辑，通过元数据中的derived_from_file_id字段判断
- 实现applyVisibleFileCounts方法为数据集批量设置可见文件数量
- 修改数据集统计接口使用过滤后的可见文件进行统计计算
- 添加normalizeFilePath工具方法统一路径格式处理
- 更新文件查询逻辑支持派生文件过滤功能
- 新增DatasetFileCount DTO用于文件计数统计返回
 2026-02-01 22:55:07 +08:00
q792602257 9d185bb10c feat(deploy): 添加上传文件存储卷配置 
- 新增 uploads_volume 卷用于存储上传文件
- 配置卷名称为 datamate-uploads-volume
- 将上传卷挂载到容器 /uploads 目录
- 更新部署配置以支持文件上传功能
 2026-02-01 22:34:14 +08:00
q792602257 6c4f05c0b9 fix(data-management): 修复文件预览状态检查逻辑 
- 移除 PENDING 状态的预览轮询检查
- 避免在 PENDING 状态下重复轮询导致的性能问题
- 优化预览加载状态管理流程
 2026-02-01 22:32:03 +08:00
q792602257 438acebb89 feat(data-management): 添加Office文档预览功能 
- 集成LibreOffice转换器实现DOC/DOCX转PDF功能
- 新增DatasetFilePreviewService处理预览文件管理
- 新增DatasetFilePreviewAsyncService异步转换任务
- 在文件删除时同步清理预览文件
- 前端实现Office文档预览状态轮询机制
- 添加预览API接口支持状态查询和转换触发
- 优化文件预览界面显示转换进度和错误信息
 2026-02-01 22:26:05 +08:00
q792602257 f06d6e5a7e fix(utils): 修复请求工具中的XMLHttpRequest配置问题 
- 移动XMLHttpRequest实例化到方法开头避免重复创建
- 删除被注释掉的旧请求完成事件处理代码
- 修正请求错误和中止事件的错误处理逻辑
- 移除重复的xhr.open调用确保正确的HTTP方法设置
 2026-02-01 22:07:43 +08:00
q792602257 fda283198d refactor(knowledge): 移除未使用的Tag组件导入 
- 从KnowledgeSetDetail.tsx中移除未使用的Tag组件导入
- 保持代码整洁性，消除无用的依赖项
 2026-02-01 22:05:10 +08:00
q792602257 d535d0ac1b feat(knowledge): 添加Office文档预览轮询机制 
- 引入useRef钩子用于管理轮询定时器和当前处理项目
- 添加Spin组件用于预览加载状态显示
- 新增queryKnowledgeItemPreviewStatusUsingGet API调用接口
- 设置OFFICE_PREVIEW_POLL_INTERVAL和OFFICE_PREVIEW_POLL_MAX_TIMES常量
- 移除原有的Office预览元数据解析相关代码
- 添加officePreviewStatus、officePreviewError状态管理
- 实现pollOfficePreviewStatus函数进行预览状态轮询
- 添加clearOfficePreviewPolling清理轮询定时器功能
- 在handlePreviewItemFile中集成预览状态轮询逻辑
- 更新关闭预览时清理轮询和重置状态
- 移除表格中的Office预览标签显示
- 优化PDF预览界面，在无预览URL时显示加载或错误状态
 2026-02-01 22:02:57 +08:00
q792602257 4d2c9e546c refactor(menu): 调整菜单结构并更新数据管理标题 
- 将数据管理菜单项标题从"数据管理"改为"数集管理"
- 重新排列菜单项顺序，将数据标注和内容生成功能移至数据管理后
- 数据集统计页面标题从"数据管理"更新为"数据集统计"
- 移除重复的数据标注和内容生成菜单配置项
 2026-02-01 21:40:21 +08:00