Commit Graph

142 Commits

Author SHA1 Message Date
5eafcf0145 refactor(request): 优化请求处理逻辑并添加PDF提取接口定义
- 简化catch语句移除不必要的异常变量
- 删除无用的FormData条件判断代码
- 将变量声明从let改为const提升代码质量
- 移除响应拦截器中的冗余参数传递
- 在数据集模式模块中添加PDF文本提取相关的请求响应模型
- 更新模块导出列表包含新的PDF提取接口类型定义
2026-01-29 11:40:30 +08:00
ce98be5778 feat(knowledge): 添加知识条目文件预览和替换功能
- 后端实现知识条目文件预览接口,支持多种文件类型在线预览
- 后端实现知识条目文件替换功能,保留原有文件管理逻辑
- 前端新增文件预览模态框组件,支持文本、图片、音视频预览
- 前端知识条目编辑器添加文件替换上传功能
- 前端优化文件内容截断预览逻辑,统一使用工具函数处理
- 前端修复 PUT 请求中 FormData 处理问题,确保文件上传正常工作
- 新增文件预览相关工具函数和常量配置
2026-01-29 11:38:43 +08:00
1158647217 feat(annotation): 实现任务列表分页加载和优化排序功能
- 添加分页相关字段到EditorTaskListResponse类型定义
- 定义TASK_PAGE_START和TASK_PAGE_SIZE常量及NormalizedTaskList类型
- 实现mergeTaskItems、mergeTaskPages和normalizeTaskListResponse工具函数
- 添加taskPage、taskTotal、taskTotalPages和loadingMore状态管理
- 优化后端查询逻辑,使用case语句实现标注状态排序
- 集成外连接查询同时获取文件信息和标注结果
- 改进前端任务列表的数据合并和分页加载机制
2026-01-27 19:08:37 +08:00
977a930c97 feat(annotation): 支持音频和视频数据类型的标注任务
- 添加了音频和视频数据类型常量定义
- 实现了音频和视频标注模板的内置配置
- 扩展前端组件以支持按数据类型过滤标注模板
- 重构后端编辑器服务以处理音频和视频任务构建
- 更新数据库初始化脚本包含音频和视频标注模板
- 添加音频和视频数据类型的预览URL映射逻辑
2026-01-26 23:54:40 +08:00
371df12a96 feat(annotation): 添加文本数据集段落切片功能
- 在前端组件中新增 segmentationEnabled 字段控制切片开关
- 为文本数据集添加段落切片配置选项,默认启用切片功能
- 在后端接口中新增 segmentation_enabled 参数传递给标注项目
- 实现切片逻辑控制,支持文本数据的自动段落分割
- 添加数据集类型判断,仅文本数据集支持切片配置
- 更新标注任务创建和编辑表单中的切片相关字段处理
2026-01-26 12:14:27 +08:00
a8c5de0aa6 feat(db): 添加图像分类标注模板到数据库初始化脚本
- 新增图像分类标注模板配置,支持内容审核、安全检测等场景
- 集成 ResNet、EfficientNet、Vision Transformer 关联模型
- 添加 Choices 标签配置,包含 Adult content、Weapons、Violence 选项
- 设置 Image 对象类型用于图像展示和标注
- 配置水平布局样式和计算机视觉类别属性
2026-01-26 10:19:55 +08:00
c5aa052451 feat(annotation): 添加图像分类内置模板
- 新增 IMAGE_CLASSIFICATION_LABEL_CONFIG 配置定义
- 添加图像分类内置模板定义,包含 Adult content、Weapons、Violence 分类选项
- 配置图像分类模板的数据类型为图片类型
- 设置图像分类模板的标签配置和样式
- 定义图像分类模板的描述信息和版本信息
2026-01-25 19:00:01 +08:00
250a13ff70 feat(annotation): 支持图像标注项目并添加内置标注模板
- 扩展标注编辑器支持 TEXT/IMAGE 数据类型
- 添加三个内置图像标注模板:目标检测、语义分割(掩码)、语义分割(多边形)
- 实现内置标注模板的数据库初始化功能
- 集成标注配置验证和模板管理服务
- 更新项目不支持提示信息以反映新的数据类型支持
2026-01-25 18:35:07 +08:00
c5ace0c4cc feat(annotation): 支持图像数据集的内嵌标注编辑器
- 添加文件预览接口,支持以 inline 方式预览数据集中的指定文件
- 实现图像任务构建功能,支持图像标注任务的数据结构
- 扩展标注编辑器服务以支持 TEXT 和 IMAGE 类型数据集
- 添加媒体对象分类支持,解析图像标注配置
- 实现图像文件预览 URL 构建逻辑
- 优化项目信息获取和任务响应构建流程
- 修复数据库查询中的项目 ID 引用错误
2026-01-25 17:25:44 +08:00
0e30e658e9 feat(annotation): 添加 JSONL 文件支持和文本键解析功能
- 添加 JSONL 文件扩展名常量定义
- 实现主文本键解析方法 _resolve_primary_text_key
- 添加 JSONL 记录解析方法 _parse_jsonl_records
- 修改任务数据构建方法以支持主文本键参数
- 实现主文本值解析方法 _resolve_primary_text_value
- 更新项目信息获取逻辑以支持 JSONL 多行记录处理
- 修改分段逻辑以支持 JSONL 多行或超长文本分段
- 调整标注处理逻辑以正确处理分段标注场景
2026-01-23 22:09:06 +08:00
3f566a0b08 feat(annotation): 替换模板配置表单为树形编辑器组件
- 移除 TemplateConfigurationForm 组件并引入 TemplateConfigurationTreeEditor
- 使用 useTagConfig Hook 获取标签配置
- 将自定义XML状态 customXml 替换为 labelConfig
- 删除模板编辑标签页和选择模板状态管理
- 更新XML解析逻辑支持更多对象和标注控件类型
- 添加配置验证功能确保至少包含数据对象和标注控件
- 在模板详情页面使用树形编辑器显示配置详情
- 更新任务创建页面集成新的树形配置编辑器
- 调整预览数据生成功能适配新的XML解析方式
2026-01-23 16:11:59 +08:00
ccb581d501 feat(template): 添加模板搜索功能和优化数据获取
- 添加 keyword 参数支持模板名称和描述模糊搜索
- 在 useFetchData hook 中添加 filterParamMapper 参数用于过滤参数映射
- 为模板列表页面实现内置标志过滤器映射功能
- 优化模板配置更新逻辑,改进数据验证和转换流程
- 完善模板服务中的条件查询,支持多字段模糊匹配
- 更新数据获取 hook 的依赖数组以正确处理轮询逻辑
2026-01-22 21:25:04 +08:00
9eafdc86bb fix(annotation): 修正知识库同步服务中的分页参数
- 将_list_knowledge_sets方法中的page参数从0改为1
- 将文件检索接口中的page参数从0改为1
- 统一所有分页查询的起始页码为1,避免空结果返回
2026-01-22 20:28:20 +08:00
90c5cc44e8 feat(annotation): 优化知识同步服务的响应处理
- 在HTTP请求后添加响应解包功能
- 实现_code_方法来处理API响应格式
- 添加错误码检查和异常抛出机制
- 提取数据字段并返回正确的内容结构
- 保持原有安全JSON序列化功能不变
2026-01-22 20:23:37 +08:00
9376382791 refactor(annotation): 简化知识库集查找逻辑
- 移除项目参数依赖,简化 _find_knowledge_set_by_name 方法
- 删除不再使用的 _parse_metadata 和 _metadata_matches_project 方法
- 更新知识库集创建流程中的查找调用方式
- 统一所有知识库集查找操作的参数结构
2026-01-22 20:18:42 +08:00
cb71712f51 feat(annotation): 优化知识集合同步服务逻辑
- 添加 KNOWLEDGE_SET_LIST_SIZE 常量配置知识集列表大小为50
- 实现现有知识集名称检查避免重复创建
- 添加 _list_knowledge_sets 方法用于查询知识集列表
- 实现 _parse_metadata 和 _metadata_matches_project 方法解析匹配项目元数据
- 添加 _find_knowledge_set_by_name 方法按名称查找知识集
- 优化知识集创建流程增加重试和回退机制
- 实现项目配置更新保存知识集ID和名称信息
2026-01-22 17:48:27 +08:00
1eee1e248e feat(annotation): 添加分段索引支持和优化标注编辑器
- 在前端 lsf.html 中添加 segmentIndex 字段解析逻辑
- 在 LabelStudioTextEditor 中添加分段索引相关类型定义和处理函数
- 使用 useCallback 优化组件中的异步函数性能
- 添加对驼峰命名和下划线命名的数据字段兼容处理
- 实现分段模式下的标注状态更新功能
- 添加任务 ID 验证防止过期保存请求
- 在后端 editor.py 中添加分段索引字段支持
- 统一前后端数据传输格式确保字段一致性
2026-01-22 17:14:37 +08:00
c638182c72 feat(annotation): 增强标注编辑器的文本数据处理功能
- 添加 JSON 和 XML 解析支持用于处理标注配置
- 实现文本占位符填充机制优化用户体验
- 集成标签工作室配置管理功能
- 添加文本对象类型检测和分类处理
- 实现标注配置装饰器增强编辑器
2026-01-22 16:22:32 +08:00
73f0ab65fa feat(annotation): 实现标注结果同步到知识管理功能
- 在知识条目实体中新增来源数据集ID和文件ID字段
- 实现标注编辑器中同步标注结果到知识管理的服务逻辑
- 添加知识同步服务类处理标注到知识条目的转换和同步
- 实现通过下载接口获取文本内容的独立服务模块
- 更新知识条目查询接口支持按来源数据集和文件ID过滤
- 自动创建和关联标注项目对应的知识集
- 支持文本和Markdown文件的内容合并标注结果
- 添加同步过程中的错误处理和日志记录机制
2026-01-21 16:09:34 +08:00
ec27e2fa3e Merge branch 'editor_next' into lsf 2026-01-21 13:28:01 +08:00
79371ba078 feat(data-management): 添加数据集父子层级结构功能
- 在OpenAPI规范中新增parentDatasetId字段用于层级过滤
- 实现数据集父子关系的创建、更新和删除逻辑
- 添加数据集移动时的路径重命名和文件路径前缀更新
- 增加子数据集数量验证防止误删父数据集
- 更新前端界面支持选择父数据集和导航显示
- 优化Python后端自动标注任务的路径处理逻辑
- 修改数据库表结构添加外键约束确保数据一致性
2026-01-20 13:34:50 +08:00
ea6765ea0f fix(annotation): 修改数据集文件状态查询逻辑
- 将文件状态查询从仅统计 ACTIVE 状态扩展为 ACTIVE 和 COMPLETED 状态
- 使用 in_ 操作符替代等于操作符以支持多状态查询
- 保持原有数据集标注计数功能不变
2026-01-20 00:30:21 +08:00
d890a5679d refactor(annotation): 统一查询参数命名规范
- 将分页查询参数 pageSize 替换为 size
- 更新所有相关函数中的参数引用
- 修改日志输出中的参数名称显示
- 保持原有的分页逻辑不变
2026-01-19 23:56:40 +08:00
cc0a977349 feat(annotation): 添加标注任务的数据量统计功能
- 在前端表格中新增数据量和已标注列显示
- 添加标注完成百分比计算和提示功能
- 在后端schema中增加totalCount和annotatedCount字段
- 实现项目统计数据查询服务方法
- 集成前后端数据映射和接口响应更新
2026-01-19 22:43:41 +08:00
649ab2f6bb refactor(annotation): 移除调试日志和异常堆栈跟踪
- 移除了项目映射获取接口中的traceback打印
- 简化了内部服务器错误响应消息
- 删除了映射服务中的多个调试日志输出
- 清理了响应数据构建过程中的调试信息
2026-01-19 21:58:00 +08:00
496161b1f1 ```
chore(annotation): 添加调试日志到映射服务

- 在 _to_response_from_row 方法中添加配置和标签配置的调试日志
- 在 _to_response 方法中添加映射ID和配置信息的调试日志
- 添加响应数据键名的调试日志
- 优化配置解析逻辑以确保字典类型的正确检查
```
2026-01-19 21:52:01 +08:00
f4a86b4af1 feat(annotation): 添加 labelConfig 字段并优化配置解析逻辑
- 在 DatasetMappingResponse 模型中新增 label_config 字段
- 修改前端获取 labelConfig 的逻辑,优先使用任务自身配置
- 移除模板配置的 condition 分支,统一从 XML 解析配置
- 更新后端服务从 configuration JSON 字段中提取 label_config 和 description
- 优化前后端配置解析的一致性处理
2026-01-19 21:39:00 +08:00
71c4a8d8a6 feat(annotation): 添加文本分段标注功能
- 引入文本分割器实现长文本按200字符自动分段
- 增加分段状态管理和段落导航界面
- 支持按段落保存和加载标注数据
- 实现分段模式下的标注状态跟踪
- 扩展API接口支持段落索引参数
- 添加分段相关的数据模型定义
2026-01-19 18:18:19 +08:00
70ea998564 feat(annotation): 优化标注编辑器的标签配置获取逻辑
- 优先使用项目配置中的label_config(用户编辑版本)
- 其次使用模板默认配置作为备选方案
- 支持从项目配置字典中获取label_config字段
- 保持向后兼容性,当项目配置无效时回退到模板配置
2026-01-19 16:34:20 +08:00
e192c826eb fix(annotation): 解决文件名中文编码问题
- 添加 urllib.parse.quote 用于文件名编码
- 实现 RFC 5987 标准支持 UTF-8 编码的文件名
- 修改 Content-Disposition 头部使用 filename* 参数
- 确保中文文件名在下载时正确显示
2026-01-19 14:23:14 +08:00
109069c0da 1 2026-01-19 13:09:48 +08:00
0a936495b9 ```
feat(registry): 添加模块注册日志记录功能

- 在 _register_module 方法中添加 logger.info 日志输出
- 记录模块名称、模块类和模块路径信息
- 便于调试和追踪模块注册过程
```
2026-01-19 12:59:24 +08:00
3f36be0f9f feat(runtime): 实现运行时操作模块的自动导入功能
- 添加 importlib 和 os 模块用于动态导入
- 集成 loguru 日志记录器进行错误追踪
- 实现自动遍历并导入所有子模块的逻辑
- 添加异常处理机制捕获模块加载失败的情况
- 确保所有子模块注册的算子能够正确加载
- 修复模块导入顺序以支持注解操作正常工作
2026-01-19 12:37:40 +08:00
0ed5a27a72 fix(dataset): 解决操作符查找失败时的错误处理
- 当操作符在任何注册表中都找不到时抛出ImportError异常
- 对无效的注册表内容类型抛出更具体的ImportError异常
- 提供更清晰的错误信息帮助用户诊断问题
2026-01-19 12:12:47 +08:00
0c94361cde Revert "feat(annotation): 添加模板示例数据配置功能"
This reverts commit a2b0fc3674.
2026-01-18 22:08:20 +08:00
a2b0fc3674 feat(annotation): 添加模板示例数据配置功能
- 在模板配置表单中新增示例数据输入区域
- 实现不同数据类型的示例输入框(文本、图片、音频、视频等)
- 添加图片类型示例的实时预览功能
- 在模板详情页增加示例数据预览卡片
- 支持多种媒体类型的示例展示(图片、音频、视频、文本)
- 更新前后端数据模型以支持exampleData字段
- 添加示例数据的placeholder提示文案
2026-01-18 21:59:41 +08:00
e81c0bf199 feat(annotation): 扩展模板ID字段长度以支持自定义ID
- 将标注配置模板表的id字段从VARCHAR(36)扩展到VARCHAR(64)
- 修改标注管理模型中的template_id字段从VARCHAR(36)扩展到VARCHAR(64)
- 更新数据库初始化脚本中的字段长度定义
- 支持更长的UUID或自定义ID格式的模板标识符
2026-01-18 20:50:00 +08:00
b992b08b2c feat(annotation): 扩展标注模板功能支持多模态数据类型
- 扩展数据类型支持包括pdf/chat/html/table等多种格式
- 新增标注类型涵盖asr/ner/object-detection等专业领域
- 添加label_config字段用于Label Studio XML配置存储
- 更新模板分类体系为audio-speech/chat/computer-vision/nlp等
- 实现预定义label_config优先使用的配置加载逻辑
- 完善数据库初始化脚本包含多模态标注模板数据
2026-01-18 20:35:34 +08:00
0c97648a9e fix(annotation): 修复导出统计功能中的文件状态过滤问题
- 在获取总文件数时添加 ACTIVE 状态过滤条件
- 修改已标注文件数统计逻辑,使用 distinct(file_id) 进行计数
- 在导出功能中为所有文件查询添加 ACTIVE 状态过滤
- 增加日志记录以跟踪导出统计过程
- 修正
2026-01-18 17:35:40 +08:00
c48d2fdeb8 feat(annotation): 添加标注数据导出功能
- 新增导出对话框组件,支持多种格式选择
- 实现 JSON、JSONL、CSV、COCO、YOLO 五种导出格式
- 添加导出统计信息显示,包括总文件数和已标注数
- 集成前端导出按钮和后端 API 接口
- 支持仅导出已标注数据和包含原始数据选项
- 实现文件下载和命名功能
2026-01-18 16:54:02 +08:00
01dcd16a98 feat(annotation): 添加标注任务自定义配置功能
- 新增 LabelStudioEmbed 组件用于嵌入式标注界面预览
- 在创建标注任务对话框中添加 XML 配置编辑器
- 支持从现有模板加载配置并进行自定义修改
- 实现标注界面实时预览功能
- 后端支持直接传递 label_config 覆盖模板配置
- 更新 CreateAnnotationTaskRequest 模型添加 labelConfig 字段
2026-01-18 14:12:12 +08:00
e1c41a93c3 refactor(annotation): 优化模板生成逻辑移除文本类型特殊处理
Some checks failed
CodeQL Advanced / Analyze (actions) (push) Has been cancelled
CodeQL Advanced / Analyze (java-kotlin) (push) Has been cancelled
CodeQL Advanced / Analyze (javascript-typescript) (push) Has been cancelled
CodeQL Advanced / Analyze (python) (push) Has been cancelled
- 移除了 text_object_types 变量定义
- 删除了 is_text_template 判断逻辑
- 移除了长文本优化的双栏布局实现
- 添加了关于 Label Studio 默认侧栏控件行为的说明
- 简化了 XML 结构生成逻辑
2026-01-09 18:52:52 +08:00
b5aaf52bb6 chore(deps): 更新 paddlenlp 依赖版本
- 将 paddlenlp 从 3.0b4 版本降级到 2.8.1 版本
- 保持其他依赖包版本不变
- 确保依赖版本兼容性
2026-01-09 17:20:05 +08:00
103cb94a6d feat(runtime): 添加 PaddleNLP 依赖包
- 在 pyproject.toml 中新增 paddlenlp==3.0.0b4 依赖
- 为 OCR 功能扩展提供自然语言处理支持
2026-01-09 15:51:42 +08:00
294e7a1021 fix destPath param 2026-01-09 15:21:48 +08:00
a98eeb530f s3-compatible-fs support 2026-01-09 14:35:03 +08:00
ba210d3d4f localfs support 2026-01-09 14:35:03 +08:00
010ffceab5 glusterfs support 2026-01-09 13:49:18 +08:00
fa755faf72 ftp 2026-01-09 13:47:43 +08:00
7de49feb66 feat(annotation): 优化标注模板生成和配置验证
- 添加文本对象类型集合用于模板类型判断
- 将XML生成部分拆分为对象和控件两个独立部分
- 为文本类模板添加响应式布局支持长文本标注
- 修复配置验证器中对象和控件查找逻辑
- 优化标签控件在长文本场景下的显示位置
2026-01-09 13:39:55 +08:00