q792602257/DataMate
0
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
511 Commits 1 Branch 0 Tags
cda22a720cc46b4eb9332d7246c97164934c6ab8
Commit Graph

26 Commits

Author SHA1 Message Date
Jerry Yan
cda22a720c feat(annotation): 优化文本标注分段功能实现 
- 新增 getEditorTaskSegmentsUsingGet 接口用于获取任务分段信息
- 移除 SegmentInfo 中的 text、start、end 字段，精简数据结构
- 添加 EditorTaskSegmentsResponse 类型定义用于分段摘要响应
- 实现服务端 get_task_segments 方法，支持分段信息查询
- 重构前端组件缓存机制，使用 segmentSummaryFileRef 管理分段状态
- 优化分段构建逻辑，提取 _build_segment_contexts 公共方法
- 调整后端 _build_text_task 方法中的分段处理流程
- 更新 API 类型定义，统一 RequestParams 和 RequestPayload 类型
 2026-02-04 16:59:04 +08:00
Jerry Yan
147beb1ec7 feat(annotation): 实现文本切片预生成功能 
在创建标注任务时自动预生成文本切片结构，避免每次进入标注页面时的实时计算。

修改内容：
1. 在 AnnotationEditorService 中新增 precompute_segmentation_for_project 方法
   - 为项目的所有文本文件预计算切片结构
   - 使用 AnnotationTextSplitter 执行切片
   - 将切片结构持久化到 AnnotationResult 表（状态为 IN_PROGRESS）
   - 支持失败重试机制
   - 返回统计信息

2. 修改 create_mapping 接口
   - 在创建标注任务后，如果启用分段且为文本数据集，自动触发切片预生成
   - 使用 try-except 捕获异常，确保切片失败不影响项目创建

特点：
- 使用现有的 AnnotationTextSplitter 类
- 切片数据结构与现有分段标注格式一致
- 向后兼容（未切片的任务仍然使用实时计算）
- 性能优化：避免进入标注页面时的重复计算

相关文件：
- runtime/datamate-python/app/module/annotation/service/editor.py
- runtime/datamate-python/app/module/annotation/interface/project.py
 2026-02-03 12:59:29 +00:00
Jerry Yan
f6788756d3 fix(annotation): 修复分段标注数据结构兼容性问题 
- 添加分段标注合并异常时的日志记录和警告
- 增加分段标注保存时的详细状态日志
- 修复分段数据结构类型检查逻辑，支持dict和list格式统一转换
- 避免SQLAlchemy变更检测失效的原地修改问题
- 添加旧版list结构向新dict结构的数据迁移兼容处理
 2026-01-31 16:45:48 +08:00
Jerry Yan
5a5279869e feat(annotation): 添加分段总数提示功能优化性能 
- 在编辑器服务中添加 segment_total_hint 变量用于缓存分段总数计算结果
- 使用 with_for_update() 锁定查询以避免并发问题
- 将重复的分段总数计算逻辑替换为使用缓存的提示值
- 减少数据库查询次数提升标注任务处理效率
- 优化了分段索引存在时的总数获取流程
 2026-01-31 16:28:39 +08:00
Jerry Yan
33cf65c9f8 feat(annotation): 添加分段标注统计和进度跟踪功能 
- 新增 SegmentStats 类型定义用于分段统计
- 实现分段标注进度计算和缓存机制
- 添加标注任务状态判断逻辑支持分段模式
- 集成分段统计数据显示到任务列表界面
- 实现分段总数自动计算和验证功能
- 扩展标注状态枚举支持进行中标注状态
- 优化任务选择逻辑基于分段完成状态
- 添加分段统计数据预加载和同步机制
 2026-01-31 15:42:04 +08:00
Jerry Yan
c5c8e6c69e feat(annotation): 添加分段标注功能支持 
- 定义分段标注相关常量（segmented、segments、result等键名）
- 实现分段标注提取方法_extract_segment_annotations处理字典和列表格式
- 添加分段标注判断方法_is_segmented_annotation检测标注状态
- 修改_has_annotation_result方法使用新的分段标注处理逻辑
- 在任务创建过程中集成分段标注数据处理
- 更新导出服务中的分段标注结果扁平化处理
- 实现标注归一化方法支持分段标注格式转换
- 调整JSON和CSV导出格式适配分段标注结构
 2026-01-31 14:36:16 +08:00
Jerry Yan
2bc48fd465 refactor(annotation): 移除编辑器标签配置装饰逻辑 
- 删除了 _decorate_label_config_for_editor 方法调用
- 简化了标签配置获取流程
- 移除了不必要的条件检查逻辑
 2026-01-31 14:14:32 +08:00
Jerry Yan
f2403f00ce feat(annotation): 添加不适用标注状态支持 
- 在 AnnotationResultStatus 枚举中新增 NOT_APPLICABLE 状态
- 将无标注/不适用合并为两个独立的状态选项
- 更新前端标签显示逻辑以支持新的状态类型
- 修改确认对话框允许选择不适用状态
- 在后端数据库模型中添加 NOT_APPLICABLE 状态值
- 更新 API schema 描述以反映新的状态选项
- 调整标注状态判断和保存逻辑以处理三种状态
- 更新数据库表结构注释包含新状态类型
 2026-01-31 13:28:08 +08:00
Jerry Yan
f4fc574687 feat(annotation): 添加标注状态管理功能 
- 引入 AnnotationResultStatus 枚举类型区分已标注和无标注状态
- 在前端组件中实现空标注检测和确认对话框逻辑
- 添加数据库表字段 annotation_status 存储标注状态
- 扩展后端服务验证和处理标注状态逻辑
- 更新 API 接口支持标注状态参数传递
- 改进任务列表显示逻辑以反映不同标注状态
- 实现分段模式下的标注结果检查机制
 2026-01-31 13:23:38 +08:00
Jerry Yan
9a205919d7 refactor(data-import): 优化数据源文件扫描和复制逻辑 
- 修改数据源文件扫描方法，直接在主流程中获取任务详情和路径
- 移除独立的getFilePaths方法，将路径扫描逻辑整合到scanFilePaths方法中
- 新增copyFilesToDatasetDirWithSourceRoot方法支持保留相对路径的文件复制
- 更新数据集文件应用服务中的文件复制逻辑，支持相对路径处理
- 修改Python后端项目接口中的文件查询逻辑，移除注释掉的编辑器服务引用
- 调整文件过滤逻辑，基于元数据中的派生源ID进行文件筛选
- 移除编辑器服务中已废弃的源文档过滤条件
 2026-01-30 18:58:34 +08:00
Jerry Yan
8b2a19f09a feat(annotation): 添加标注项目文件快照功能 
- 新增 LabelingProjectFile 模型用于存储标注项目的文件快照
- 在创建标注项目时记录关联的文件快照数据
- 更新查询逻辑以基于项目快照过滤文件列表
- 优化导出统计功能使用快照数据进行计算
- 添加数据库表结构支持项目文件快照关系
 2026-01-30 18:10:13 +08:00
Jerry Yan
0b69845a29 feat(annotation): 添加文本项目源文档过滤功能 
- 在 EditorProjectInfo 中增加 datasetType 字段
- 移除前端硬编码的源文档扩展名列表
- 添加 isTextProject 判断逻辑
- 实现 prefetch 和 loadTasks 中的源文档排除参数
- 在后端接口中添加 excludeSourceDocuments 参数
- 实现源文档类型的数据库查询过滤逻辑
- 优化任务列表加载性能，避免不必要的源文档加载
 2026-01-29 16:29:40 +08:00
Jerry Yan
1158647217 feat(annotation): 实现任务列表分页加载和优化排序功能 
- 添加分页相关字段到EditorTaskListResponse类型定义
- 定义TASK_PAGE_START和TASK_PAGE_SIZE常量及NormalizedTaskList类型
- 实现mergeTaskItems、mergeTaskPages和normalizeTaskListResponse工具函数
- 添加taskPage、taskTotal、taskTotalPages和loadingMore状态管理
- 优化后端查询逻辑，使用case语句实现标注状态排序
- 集成外连接查询同时获取文件信息和标注结果
- 改进前端任务列表的数据合并和分页加载机制
 2026-01-27 19:08:37 +08:00
Jerry Yan
977a930c97 feat(annotation): 支持音频和视频数据类型的标注任务 
- 添加了音频和视频数据类型常量定义
- 实现了音频和视频标注模板的内置配置
- 扩展前端组件以支持按数据类型过滤标注模板
- 重构后端编辑器服务以处理音频和视频任务构建
- 更新数据库初始化脚本包含音频和视频标注模板
- 添加音频和视频数据类型的预览URL映射逻辑
 2026-01-26 23:54:40 +08:00
Jerry Yan
371df12a96 feat(annotation): 添加文本数据集段落切片功能 
- 在前端组件中新增 segmentationEnabled 字段控制切片开关
- 为文本数据集添加段落切片配置选项，默认启用切片功能
- 在后端接口中新增 segmentation_enabled 参数传递给标注项目
- 实现切片逻辑控制，支持文本数据的自动段落分割
- 添加数据集类型判断，仅文本数据集支持切片配置
- 更新标注任务创建和编辑表单中的切片相关字段处理
 2026-01-26 12:14:27 +08:00
Jerry Yan
a8c5de0aa6 feat(db): 添加图像分类标注模板到数据库初始化脚本 
- 新增图像分类标注模板配置，支持内容审核、安全检测等场景
- 集成 ResNet、EfficientNet、Vision Transformer 关联模型
- 添加 Choices 标签配置，包含 Adult content、Weapons、Violence 选项
- 设置 Image 对象类型用于图像展示和标注
- 配置水平布局样式和计算机视觉类别属性
 2026-01-26 10:19:55 +08:00
Jerry Yan
c5ace0c4cc feat(annotation): 支持图像数据集的内嵌标注编辑器 
- 添加文件预览接口，支持以 inline 方式预览数据集中的指定文件
- 实现图像任务构建功能，支持图像标注任务的数据结构
- 扩展标注编辑器服务以支持 TEXT 和 IMAGE 类型数据集
- 添加媒体对象分类支持，解析图像标注配置
- 实现图像文件预览 URL 构建逻辑
- 优化项目信息获取和任务响应构建流程
- 修复数据库查询中的项目 ID 引用错误
 2026-01-25 17:25:44 +08:00
Jerry Yan
0e30e658e9 feat(annotation): 添加 JSONL 文件支持和文本键解析功能 
- 添加 JSONL 文件扩展名常量定义
- 实现主文本键解析方法 _resolve_primary_text_key
- 添加 JSONL 记录解析方法 _parse_jsonl_records
- 修改任务数据构建方法以支持主文本键参数
- 实现主文本值解析方法 _resolve_primary_text_value
- 更新项目信息获取逻辑以支持 JSONL 多行记录处理
- 修改分段逻辑以支持 JSONL 多行或超长文本分段
- 调整标注处理逻辑以正确处理分段标注场景
 2026-01-23 22:09:06 +08:00
Jerry Yan
1eee1e248e feat(annotation): 添加分段索引支持和优化标注编辑器 
- 在前端 lsf.html 中添加 segmentIndex 字段解析逻辑
- 在 LabelStudioTextEditor 中添加分段索引相关类型定义和处理函数
- 使用 useCallback 优化组件中的异步函数性能
- 添加对驼峰命名和下划线命名的数据字段兼容处理
- 实现分段模式下的标注状态更新功能
- 添加任务 ID 验证防止过期保存请求
- 在后端 editor.py 中添加分段索引字段支持
- 统一前后端数据传输格式确保字段一致性
 2026-01-22 17:14:37 +08:00
Jerry Yan
c638182c72 feat(annotation): 增强标注编辑器的文本数据处理功能 
- 添加 JSON 和 XML 解析支持用于处理标注配置
- 实现文本占位符填充机制优化用户体验
- 集成标签工作室配置管理功能
- 添加文本对象类型检测和分类处理
- 实现标注配置装饰器增强编辑器
 2026-01-22 16:22:32 +08:00
Jerry Yan
73f0ab65fa feat(annotation): 实现标注结果同步到知识管理功能 
- 在知识条目实体中新增来源数据集ID和文件ID字段
- 实现标注编辑器中同步标注结果到知识管理的服务逻辑
- 添加知识同步服务类处理标注到知识条目的转换和同步
- 实现通过下载接口获取文本内容的独立服务模块
- 更新知识条目查询接口支持按来源数据集和文件ID过滤
- 自动创建和关联标注项目对应的知识集
- 支持文本和Markdown文件的内容合并标注结果
- 添加同步过程中的错误处理和日志记录机制
 2026-01-21 16:09:34 +08:00
Jerry Yan
71c4a8d8a6 feat(annotation): 添加文本分段标注功能 
- 引入文本分割器实现长文本按200字符自动分段
- 增加分段状态管理和段落导航界面
- 支持按段落保存和加载标注数据
- 实现分段模式下的标注状态跟踪
- 扩展API接口支持段落索引参数
- 添加分段相关的数据模型定义
 2026-01-19 18:18:19 +08:00
Jerry Yan
70ea998564 feat(annotation): 优化标注编辑器的标签配置获取逻辑 
- 优先使用项目配置中的label_config（用户编辑版本）
- 其次使用模板默认配置作为备选方案
- 支持从项目配置字典中获取label_config字段
- 保持向后兼容性，当项目配置无效时回退到模板配置
 2026-01-19 16:34:20 +08:00
Jerry Yan
08336e2a13 feat(annotation): 添加标注模板配置功能 
- 在schema中新增choice和show_inline字段支持选择模式配置
- 为编辑器服务添加空标注创建逻辑避免前端异常
- 实现标签类型的标准化处理和大小写兼容
- 支持Choices标签的单选/多选和行内显示配置
- 优化前端界面滚动条显示控制样式
 2026-01-09 13:05:09 +08:00
Jerry Yan
a82f4f1bc3 refactor(annotation): 移除对 Label Studio Server 的依赖并切换到内嵌编辑器模式 
- 移除 LabelStudioClient 和 SyncService 的导入及使用
- 删除与 Label Studio 项目的创建、删除和同步相关代码
- 修改创建数据集映射功能，改为创建 DataMate 标注项目
- 更新删除映射接口，仅进行软删除不再删除 Label Studio 项目
- 修改同步接口为兼容性保留，实际操作为空操作
- 移除 Label Studio 连接诊断功能
- 更新文档说明以反映内嵌编辑器模式的变化
 2026-01-09 12:31:03 +08:00
Jerry Yan
d5b75fee0d LSF 2026-01-07 00:00:16 +08:00