Commit Graph

50 Commits

Author SHA1 Message Date
9c9d5ecbe2 feat(annotation): 添加标注检查和段落切换保护功能
- 在LSF中实现LS_EXPORT_CHECK消息处理以获取当前标注状态
- 添加requestId支持用于标注导出请求的追踪
- 实现稳定字符串化算法用于标注快照比较
- 添加段落切换前的未保存更改检测和确认对话框
- 集成标注快
2026-01-22 17:29:21 +08:00
1eee1e248e feat(annotation): 添加分段索引支持和优化标注编辑器
- 在前端 lsf.html 中添加 segmentIndex 字段解析逻辑
- 在 LabelStudioTextEditor 中添加分段索引相关类型定义和处理函数
- 使用 useCallback 优化组件中的异步函数性能
- 添加对驼峰命名和下划线命名的数据字段兼容处理
- 实现分段模式下的标注状态更新功能
- 添加任务 ID 验证防止过期保存请求
- 在后端 editor.py 中添加分段索引字段支持
- 统一前后端数据传输格式确保字段一致性
2026-01-22 17:14:37 +08:00
ec27e2fa3e Merge branch 'editor_next' into lsf 2026-01-21 13:28:01 +08:00
cc0a977349 feat(annotation): 添加标注任务的数据量统计功能
- 在前端表格中新增数据量和已标注列显示
- 添加标注完成百分比计算和提示功能
- 在后端schema中增加totalCount和annotatedCount字段
- 实现项目统计数据查询服务方法
- 集成前后端数据映射和接口响应更新
2026-01-19 22:43:41 +08:00
f4a86b4af1 feat(annotation): 添加 labelConfig 字段并优化配置解析逻辑
- 在 DatasetMappingResponse 模型中新增 label_config 字段
- 修改前端获取 labelConfig 的逻辑,优先使用任务自身配置
- 移除模板配置的 condition 分支,统一从 XML 解析配置
- 更新后端服务从 configuration JSON 字段中提取 label_config 和 description
- 优化前后端配置解析的一致性处理
2026-01-19 21:39:00 +08:00
85b8513b43 feat(annotation): 支持从XML配置解析标注任务模板
- 添加 XML 配置解析功能,支持从 Label Studio XML 格式提取 objects 和 labels
- 优化模板配置加载逻辑,优先使用 configuration 字段,否则从 labelConfig 解析
- 增加对多种数据对象类型的解析支持(Image、Text、Audio 等)
- 实现标签控件类型的完整解析(Choices、Labels、RectangleLabels 等)
2026-01-19 20:42:48 +08:00
2229eb218d feat(annotation): 添加标注任务编辑功能
- 新增编辑模式支持,通过 editTask 属性控制
- 添加 getAnnotationTaskByIdUsingGet 和 updateAnnotationTaskByIdUsingPut API 接口
- 实现编辑模式下的任务详情加载和表单填充
- 编辑模式下禁用数据集修改和配置模式切换
- 更新模态框标题为动态显示(创建/编辑)
- 在任务列表操作菜单中添加编辑按钮
- 编辑模式下只允许修改标签取值,限制模板结构调整
- 添加任务详情加载状态显示
2026-01-19 20:25:56 +08:00
21cc505f97 feat(data-annotation): 扩展文件预览功能支持多媒体格式
- 添加对图片、视频、音频文件的预览支持
- 新增文件类型检测逻辑,支持多种媒体格式扩展名
- 实现不同文件类型的预览界面适配
- 更新预览弹窗以支持文本、图像、音视频内容展示
- 调整预览窗口尺寸以优化不同媒体类型显示效果
- 完善预览组件卸载时的状态清理机制
2026-01-19 19:38:57 +08:00
7a73322858 feat(annotation): 添加数据集文件内容预览功能
- 添加文件内容预览相关状态管理
- 实现支持多种文本格式文件的预览功能(JSON、JSONL、TXT、CSV等)
- 添加文件内容长度限制以避免页面卡顿
- 在数据集预览表格中添加文件名点击预览功能
- 创建文件内容预览弹窗界面
- 添加文件预览加载状态和错误处理
2026-01-19 19:24:42 +08:00
fe5c0fd0a3 feat(annotation): 更新标注任务创建对话框的数据集预览功能
- 替换 previewDatasetUsingGet 为 queryDatasetFilesUsingGet 接口
- 使用 App.useApp() 获取 message 实例替代直接导入
- 调整数据集预览表格结构显示文件名和大小信息
- 修改预览模态框标题和宽度设置
- 优化文件大小格式化显示功能
- 统一错误处理消息提示方式
2026-01-19 18:47:57 +08:00
1c5ff37985 feat(annotation): 添加数据集预览功能
- 引入 previewDatasetUsingGet API 接口用于数据集预览
- 添加数据集预览相关的状态管理(可见性、数据、加载状态等)
- 实现 handlePreviewDataset 函数用于获取并展示数据集预览数据
- 在数据集选择区域添加预览按钮,点击可查看数据集内容
- 添加数据集预览弹窗组件,以表格形式展示数据集内容
- 移除原有的 XML 编辑标签页,简化模板配置界面
- 更新表单项标签结构,集成预览按钮到数据集选择区域
2026-01-19 18:35:30 +08:00
71c4a8d8a6 feat(annotation): 添加文本分段标注功能
- 引入文本分割器实现长文本按200字符自动分段
- 增加分段状态管理和段落导航界面
- 支持按段落保存和加载标注数据
- 实现分段模式下的标注状态跟踪
- 扩展API接口支持段落索引参数
- 添加分段相关的数据模型定义
2026-01-19 18:18:19 +08:00
4df48e08c8 feat(annotation): 移除标注历史功能
- 移除了 annotations:history 权限配置项
- 简化了权限控制列表结构
2026-01-19 16:11:58 +08:00
ed7a5c6873 feat(annotation): 添加标注编辑器侧边栏折叠功能
- 引入 MenuFoldOutlined 和 MenuUnfoldOutlined 图标用于侧边栏控制
- 添加 sidebarCollapsed 状态管理侧边栏展开/收起状态
- 扩展 Label Studio 界面配置,启用完整的标注界面组件
- 实现可折叠的左侧文件列表,支持展开/收起操作
- 优化顶部工具栏布局,调整标题层级和按钮标签
- 改进文件列表样式,添加悬停效果和更清晰的状态标识
- 调整整体布局结构,提升编辑器区域的空间利用率
2026-01-19 16:10:26 +08:00
a778ac23b5 feat(annotation): 添加模板受限编辑模式
- 引入 restrictedMode 属性控制表单编辑权限
- 在数据对象区域显示锁定状态提示
- 禁用受限制字段的输入功能
- 隐藏受限制时的删除和添加按钮
- 在标签控件区域显示可编辑状态提示
- 更新XML编辑器为只读模式并显示相应提示
- 添加模板选择状态跟踪功能
2026-01-19 15:55:23 +08:00
3e04aecb34 refactor(annotation): 移除自动标注功能模块并简化创建对话框
- 删除 AutoAnnotation 相关的所有组件和页面文件
- 从 CreateAnnotationTaskDialog 中移除自动标注相关的表单和逻辑
- 简化 CreateAnnotationTaskDialog 为仅支持手动标注模式
- 移除 COCO_CLASSES 常量和相关依赖项
- 清理无用的导入和状态变量
- 更新对话框布局以适应单一标注模式
2026-01-19 12:02:16 +08:00
43cd3ba6c8 Revert "fix(annotation): 统一分页参数配置"
This reverts commit 8bacf5be74.
2026-01-19 10:54:03 +08:00
8bacf5be74 fix(annotation): 统一分页参数配置
- 修正 CreateAnnotationTaskDialog 中模板获取的分页参数,将 page 从 1 改为 0
- 添加注释说明使用与 useFetchData 默认行为一致的分页
-
2026-01-19 10:50:21 +08:00
de731babf3 1 2026-01-19 10:38:40 +08:00
163c93142e feat(annotation): 添加标注任务预览功能
- 新增 previewTaskData 状态管理预览数据
- 实现 generateExampleData 函数根据对象配置生成示例数据
- 支持多种数据类型(图片、音频、视频、文本等)的示例生成
- 优化预览按钮逻辑,自动生成适配的示例数据
- 移除固定示例数据,使用动态生成的数据进行预览
- 调整模板列表组件的分页参数以修复数据获取问题
2026-01-19 10:32:34 +08:00
bc43d442fc feat(annotation): 添加标注任务创建对话框的可视化配置功能
- 新增模板编辑标签页支持可视化和XML两种模式
- 实现从表单值同步生成XML配置的功能
- 添加模板选择时自动加载配置到表单的逻辑
- 重构配置模式切换逻辑并优化预览功能
- 将XML编辑器替换为带标签页的可视化配置界面
- 更新模板加载提示信息以反映新的配置方式
2026-01-19 10:26:37 +08:00
0c94361cde Revert "feat(annotation): 添加模板示例数据配置功能"
This reverts commit a2b0fc3674.
2026-01-18 22:08:20 +08:00
a2b0fc3674 feat(annotation): 添加模板示例数据配置功能
- 在模板配置表单中新增示例数据输入区域
- 实现不同数据类型的示例输入框(文本、图片、音频、视频等)
- 添加图片类型示例的实时预览功能
- 在模板详情页增加示例数据预览卡片
- 支持多种媒体类型的示例展示(图片、音频、视频、文本)
- 更新前后端数据模型以支持exampleData字段
- 添加示例数据的placeholder提示文案
2026-01-18 21:59:41 +08:00
5057457329 feat(annotation): 添加自定义标注模板配置功能
- 新增 TemplateConfigurationForm 组件用于自定义配置
- 实现模板模式和自定义模式的切换功能
- 添加 generateXmlFromConfig 函数动态生成 XML 配置
- 支持通过表单方式配置数据对象和标签控件
- 移除模板选择时多余的 XML 清空逻辑
- 优化配置预览按钮显示逻辑
2026-01-18 21:32:01 +08:00
fc978620a7 refactor(annotation): 调整模板配置表单组件导入路径
- 更新 CreateTask.tsx 中 TemplateConfigurationForm 的导入路径
- 更新 TemplateForm.tsx 中 TemplateConfigurationForm 的导入路径
- 统一模板配置表单组件的引用方式
- 优化组件文件结构和依赖关系
2026-01-18 21:15:30 +08:00
6e08255820 feat(DataAnnotation): 新增模板配置表单组件
- 实现了数据对象配置区域,支持添加、删除数据对象字段
- 添加了标签控件配置区域,支持多种控件类型的动态配置
- 集成了TagSelector组件用于对象类型和控件类型的选择
- 实现了表单验证规则,包括必填项和值格式校验
- 添加了动态选项渲染功能,根据控件类型显示相应配置项
- 实现了表单联动逻辑,支持对象选择和控件配置的关联
- 添加了用户友好的界面布局和交互提示功能
2026-01-18 21:08:47 +08:00
0e19178a5e feat(annotation): 扩展标注模板的数据类型和标注类型选项
- 新增多种数据类型包括PDF、时间序列、聊天数据、HTML和表格数据
- 扩展分类标签体系增加音频语音、聊天评估、对话AI、生成式AI等分类
- 实现动态下拉选项渲染替代硬编码选项列表
- 添加超过100种新的标注类型涵盖音频语音、聊天评估、计算机视觉等领域
- 更新列表组件显示映射后的标签文本而非原始值
- 优化表单布局添加wrap属性支持选项换行显示
2026-01-18 20:10:57 +08:00
196cb0b037 feat(data-annotation): 移除标注任务同步功能
- 删除 SyncOutlined 图标导入
- 移除 syncAnnotationTaskUsingPost API 调用
- 简化删除确认对话框内容,移除同步提示信息
- 删除 handleSync 和 handleBatchSync 同步处理函数
- 从操作菜单中移除同步选项
- 从批量操作按钮中移除批量同步功能
- 更新批量删除确认对话框内容
2026-01-18 17:53:31 +08:00
3a3a28d5ea fix(export): 解决统计数据字段兼容性问题
- 添加对 snake_case 格式字段的兼容支持
- 使用空值合并运算符处理字段缺失情况
- 保持原有 camelCase 字段的向后兼容性
- 确保统计数据正确显示无论后端返回哪种命名格式
2026-01-18 17:43:55 +08:00
c48d2fdeb8 feat(annotation): 添加标注数据导出功能
- 新增导出对话框组件,支持多种格式选择
- 实现 JSON、JSONL、CSV、COCO、YOLO 五种导出格式
- 添加导出统计信息显示,包括总文件数和已标注数
- 集成前端导出按钮和后端 API 接口
- 支持仅导出已标注数据和包含原始数据选项
- 实现文件下载和命名功能
2026-01-18 16:54:02 +08:00
01dcd16a98 feat(annotation): 添加标注任务自定义配置功能
- 新增 LabelStudioEmbed 组件用于嵌入式标注界面预览
- 在创建标注任务对话框中添加 XML 配置编辑器
- 支持从现有模板加载配置并进行自定义修改
- 实现标注界面实时预览功能
- 后端支持直接传递 label_config 覆盖模板配置
- 更新 CreateAnnotationTaskRequest 模型添加 labelConfig 字段
2026-01-18 14:12:12 +08:00
afa7fee59e style 2026-01-14 16:35:33 +08:00
70b2ddd4a2 feat(label-studio): 添加编辑器就绪状态检查和任务ID验证
- 添加 expectedTaskIdRef 用于跟踪预期任务ID
- 添加 lsReady 状态管理编辑器就绪状态
- 在任务加载时重置编辑器就绪状态和预期任务ID
- 实现 LS_READY 消息处理和任务ID验证逻辑
- 添加错误处理时设置编辑器为未就绪状态
- 更新加载提示显示不同状态信息
- 改进条件渲染确保编辑器完全准备就绪后显示
2026-01-12 22:44:13 +08:00
0f68146283 feat(annotation): 更新标签工作室文本编辑器界面配置
- 修改标注接口配置,启用当前标注和历史记录功能
- 替换提交按钮为标注标签页和菜单功能
- 优化文件卡片布局样式,调整高度和溢出处理
- 更新编辑器卡片样式,改进响应式布局结构
2026-01-09 18:38:55 +08:00
a82f4f1bc3 refactor(annotation): 移除对 Label Studio Server 的依赖并切换到内嵌编辑器模式
- 移除 LabelStudioClient 和 SyncService 的导入及使用
- 删除与 Label Studio 项目的创建、删除和同步相关代码
- 修改创建数据集映射功能,改为创建 DataMate 标注项目
- 更新删除映射接口,仅进行软删除不再删除 Label Studio 项目
- 修改同步接口为兼容性保留,实际操作为空操作
- 移除 Label Studio 连接诊断功能
- 更新文档说明以反映内嵌编辑器模式的变化
2026-01-09 12:31:03 +08:00
d5b75fee0d LSF 2026-01-07 00:00:16 +08:00
Kecheng Sha
3f1ad6a872 feat(auto-annotation): integrate YOLO auto-labeling and enhance data management (#223)
* feat(auto-annotation): initial setup

* chore: remove package-lock.json

* chore: 清理本地测试脚本与 Maven 设置

* chore: change package-lock.json
2026-01-05 14:22:44 +08:00
Kecheng Sha
0df7a872e4 Revert "feat: fix the problem in the Operator Market frontend pages" 2025-12-29 12:00:37 +08:00
root
844add27ea feat: fix the problem in the Operator Market frontend pages 2025-12-29 11:38:47 +08:00
hefanli
29e4a333a9 feature: LabelStudio jumps without login (#201) 2025-12-25 16:49:06 +08:00
hhhhsc701
103c21945d 修复部分功能 (#138)
* feature: 版本统一

* feature: 定时同步时默认值展示异常,增加提示

* feature: 修复数据归集搜索

* feature: 优化标注模板查询

* feature: 屏蔽webhook功能
2025-12-10 14:31:05 +08:00
uname
a728bc3100 修改数据标注:标注模板到主流语言。 2025-12-09 20:00:43 +08:00
hhhhsc701
bb3345268e bugfix: 清洗/算子支持名称/描述搜索 (#116)
* bugfix: milvus适配etcd deploy部署

* bugfix: 可以在知识库界面跳转到创建模型
2025-11-29 18:15:43 +08:00
Jason Wang
45743f39f5 feat: add labeling template. refactor: switch to Poetry, build and deploy of backend Python (#79)
* feat: Enhance annotation module with template management and validation

- Added DatasetMappingCreateRequest and DatasetMappingUpdateRequest schemas to handle dataset mapping requests with camelCase and snake_case support.
- Introduced Annotation Template schemas including CreateAnnotationTemplateRequest, UpdateAnnotationTemplateRequest, and AnnotationTemplateResponse for managing annotation templates.
- Implemented AnnotationTemplateService for creating, updating, retrieving, and deleting annotation templates, including validation of configurations and XML generation.
- Added utility class LabelStudioConfigValidator for validating Label Studio configurations and XML formats.
- Updated database schema for annotation templates and labeling projects to include new fields and constraints.
- Seeded initial annotation templates for various use cases including image classification, object detection, and text classification.

* feat: Enhance TemplateForm with improved validation and dynamic field rendering; update LabelStudio config validation for camelCase support

* feat: Update docker-compose.yml to mark datamate dataset volume and network as external

* feat: Add tag configuration management and related components

- Introduced new components for tag selection and browsing in the frontend.
- Added API endpoint to fetch tag configuration from the backend.
- Implemented tag configuration management in the backend, including loading from YAML.
- Enhanced template service to support dynamic tag rendering based on configuration.
- Updated validation utilities to incorporate tag configuration checks.
- Refactored existing code to utilize the new tag configuration structure.

* feat: Refactor LabelStudioTagConfig for improved configuration loading and validation

* feat: Update Makefile to include backend-python-docker-build in the build process

* feat: Migrate to poetry for better deps management

* Add pyyaml dependency and update Dockerfile to use Poetry for dependency management

- Added pyyaml (>=6.0.3,<7.0.0) to pyproject.toml dependencies.
- Updated Dockerfile to install Poetry and manage dependencies using it.
- Improved layer caching by copying only dependency files before the application code.
- Removed unnecessary installation of build dependencies to keep the final image size small.

* feat: Remove duplicated backend-python-docker-build target from Makefile

* fix: airflow is not ready for adding yet

* feat: update Python version to 3.12 and remove project installation step in Dockerfile
2025-11-13 15:32:30 +08:00
Jason Wang
c5ccc56cca feat: Add labeling template (#72)
* feat: Enhance annotation module with template management and validation

- Added DatasetMappingCreateRequest and DatasetMappingUpdateRequest schemas to handle dataset mapping requests with camelCase and snake_case support.
- Introduced Annotation Template schemas including CreateAnnotationTemplateRequest, UpdateAnnotationTemplateRequest, and AnnotationTemplateResponse for managing annotation templates.
- Implemented AnnotationTemplateService for creating, updating, retrieving, and deleting annotation templates, including validation of configurations and XML generation.
- Added utility class LabelStudioConfigValidator for validating Label Studio configurations and XML formats.
- Updated database schema for annotation templates and labeling projects to include new fields and constraints.
- Seeded initial annotation templates for various use cases including image classification, object detection, and text classification.

* feat: Enhance TemplateForm with improved validation and dynamic field rendering; update LabelStudio config validation for camelCase support

* feat: Update docker-compose.yml to mark datamate dataset volume and network as external
2025-11-11 09:14:14 +08:00
Jason Wang
8a0228b20e feat: Enhanced file and annotation synchronization across DataMate and LabelStudio. fix: change LabelStudio mapping to +1 of DataMate.
* feat: Refactor configuration and sync logic for improved dataset handling and logging

* feat: Enhance annotation synchronization and dataset file management

- Added new fields `tags_updated_at` to `DatasetFiles` model for tracking the last update time of tags.
- Implemented new asynchronous methods in the Label Studio client for fetching, creating, updating, and deleting task annotations.
- Introduced bidirectional synchronization for annotations between DataMate and Label Studio, allowing for flexible data management.
- Updated sync service to handle annotation conflicts based on timestamps, ensuring data integrity during synchronization.
- Enhanced dataset file response model to include tags and their update timestamps.
- Modified database initialization script to create a new column for `tags_updated_at` in the dataset files table.
- Updated requirements to ensure compatibility with the latest dependencies.

* fix: Update port mapping for label studio and adjust base URL in DataAnnotation component
2025-11-10 10:04:41 +08:00
Jason Wang
b5fe787c20 feat: Labeling Frontend adaptations + Backend build and deploy + Logging improvement (#55)
* feat: Front-end data annotation page adaptation to the backend API.

* feat: Implement labeling configuration editor and enhance annotation task creation form

* feat: add python backend build and deployment; add backend configuration for Label Studio integration and improve logging setup

* refactor: remove duplicate log configuration
2025-11-05 01:55:53 +08:00
Jason Wang
ba0c69086a feat: data annotation page adaptation to backend API. Improve labeling project creation module.
* feat: data annotation page adaptation to the backend API.

* feat: Implement labeling configuration editor and enhance annotation task creation form
2025-10-31 15:56:29 +08:00
chenghh-9609
e8e2c1a96b refactor: 修复标签管理功能、优化数据选择项显示、屏蔽开发中功能 (#12)
* refactor: clean up tag management and dataset handling, update API endpoints

* feat: add showTime prop to DevelopmentInProgress component across multiple pages

* refactor: update component styles and improve layout with new utility classes
2025-10-22 16:09:03 +08:00
Dallas98
1c97afed7d init datamate 2025-10-21 23:00:48 +08:00