Commit Graph

496 Commits

Author SHA1 Message Date
6dfed934a5 feat(file-preview): 增加PDF文件预览功能并优化预览逻辑
- 引入统一的文件预览工具函数和类型定义
- 添加PDF文件类型的识别和预览支持
- 使用iframe实现PDF文件在线预览
- 重构文件预览逻辑,统一处理不同文件类型的预览
- 优化文本内容预览的长度截取机制
- 更新预览按钮加载状态显示
- 统一预览窗口的最大高度配置
- 修改API调用路径为专门的预览接口
2026-01-30 17:32:36 +08:00
bd37858ccc refactor(dataset): 优化数据集路径管理和关联关系处理
- 移除Dataset类中initCreateParam方法的parentPath参数
- 简化handleParentChange方法中的路径构建逻辑
- 更新错误消息将"子数据集"改为"关联数据集"
- 修改前端界面将"父数据集"相关术语统一为"关联数据集"
- 在导入配置组件中添加类型定义和改进文件处理逻辑
- 限制数据源选项排除COLLECTION类型避免错误选择
2026-01-30 16:48:39 +08:00
accaa47a83 fix(components): 修复组件中定时器内存泄漏问题
- 在TopLoadingBar组件中添加timeoutRef并正确清理定时器
- 在Agent页面中添加timeoutRef管理AI响应模拟定时器
- 修复BasicInformation组件中useCallback依赖数组缺失问题
- 在CreateDataset页面中传递hidden属性控制数据源显示
- 在Orchestration页面中添加intervalRef管理工作流执行进度
- 在SynthesisTask中添加testTimeoutRef管理模板测试定时器
- 确保所有组件卸载时正确清除定时器避免内存泄漏
2026-01-30 14:35:45 +08:00
98d2ef1aa5 feat(KnowledgeBase): 优化知识库文件上传功能
- 添加提交状态控制,防止重复提交
- 将分块选项中的"按章节分块"改为"按句子分块"
- 更新固定长度分块的选项值从FIXED_LENGTH_CHUNK到LENGTH_CHUNK
- 简化文件计数逻辑,直接统计选中文件数量
- 添加上传进度提示消息
- 重构文件数据结构,确保ID为字符串类型
- 添加按钮禁用状态控制,提升用户体验
- 优化消息提示的显示方式,支持更新现有消息
2026-01-30 14:29:45 +08:00
1fd70085e8 Merge remote-tracking branch 'gitea/lsf' into lsf 2026-01-30 14:14:17 +08:00
283f4af094 chore(gateway): 移除Dockerfile中的离线模式参数
- 移除了mvn命令中的-o参数,允许在线下载依赖包
- 优化了编译过程以支持网络连接场景下的依赖管理
2026-01-30 14:13:16 +08:00
ba2b5aab82 chore(gateway): 移除Dockerfile中的离线模式参数
- 移除了mvn命令中的-o参数,允许在线下载依赖包
- 优化了编译过程以支持网络连接场景下的依赖管理
2026-01-30 13:53:07 +08:00
2d476f7c7a chore(gateway): 移除Dockerfile中的离线模式参数
- 移除了mvn命令中的-o参数,允许在线下载依赖包
-
2026-01-30 12:01:49 +08:00
e624c8a26f chore(build): 移除Dockerfile中的离线模式标志
- 从Maven构建命令中移除了-o(离线)标志
- 确保构建过程中能够访问远程仓库获取依赖
- 提高了依赖解析的可靠性和准确性
2026-01-30 11:59:44 +08:00
c221666e67 feat(data-management): 添加数据集相似度推荐功能
- 在DatasetApplicationService中实现getSimilarDatasets方法,支持基于标签匹配的相似数据集推荐
- 新增normalizeSimilarLimit、normalizeTagNames、countSharedTags等辅助方法用于相似度计算
- 在DatasetRepository接口及其实现类中添加findSimilarByTags方法,支持数据库层面的标签匹配查询
- 在DatasetController中暴露/similar REST API端点,支持按需获取相似数据集
- 在前端Overview组件中展示相似数据集表格,包含名称、标签、类型、文件数和更新时间等信息
- 在DatasetDetail页面集成相似数据集获取逻辑,限制默认返回数量为4条
- 移除KnowledgeItem中的冗余title字段,统一使用其他标识信息
- 优化知识管理相关组件中的标题显示逻辑,移除硬编码标题值
2026-01-30 11:43:57 +08:00
c51cd2b6e4 perf(docker): 优化 Docker 构建性能并启用缓存卷支持
- 在后端 Dockerfile 中实现分层缓存,先复制 pom.xml 文件再下载依赖
- 在前端 Dockerfile 中实现 npm 依赖缓存卷,提升构建效率
- 在网关 Dockerfile 中实现 Maven 依赖缓存卷,减少重复下载
- 在 Makefile 中启用 Docker BuildKit 支持缓存卷等高级功能
- 使用离线模式编译避免网络请求,加快构建速度
- 优化 COPY 操作顺序以更好利用 Docker 层缓存机制
2026-01-30 11:17:40 +08:00
0b69845a29 feat(annotation): 添加文本项目源文档过滤功能
- 在 EditorProjectInfo 中增加 datasetType 字段
- 移除前端硬编码的源文档扩展名列表
- 添加 isTextProject 判断逻辑
- 实现 prefetch 和 loadTasks 中的源文档排除参数
- 在后端接口中添加 excludeSourceDocuments 参数
- 实现源文档类型的数据库查询过滤逻辑
- 优化任务列表加载性能,避免不必要的源文档加载
2026-01-29 16:29:40 +08:00
f5f0add529 refactor(editor): 重构标签工作室文本编辑器组件
- 优化了文本编辑器的渲染性能
- 改进了组件的状态管理逻辑
- 更新了编辑器的事件处理机制
- 简化了组件的属性传递方式
- 修复了文本选择相关的边界情况
- 提升了代码的可维护性和可读性
2026-01-29 16:14:10 +08:00
06f6de577b refactor(KnowledgeManagement): 调整知识库详情页面文件列表展示逻辑
- 移除未使用的 Tag 组件导入
- 将文件标题列改为文件名列,并调整数据源为 sourceFileId
- 修改文件名显示逻辑,统一返回 "文件" 作为默认值
- 移除负责人列的显示
- 更新搜索框占位符文本为 "搜索文件名或内容"
- 调整文件名列宽度从 220px 增加到 260px
- 优化文件名解析逻辑,根据文件类型返回对应的预览文件名
2026-01-29 15:21:41 +08:00
3cc0802355 refactor(data-management): 移除知识条目的冗余字段和验证逻辑
- 移除 KnowledgeItem 实体中的 title、status、domain、businessLine、owner、sensitivity 字段
- 移除 KnowledgeItem 实体中的有效期限相关字段 validFrom 和 validTo
- 移除 KnowledgeItem 实体中的标签集合 tags 和扩展元数据 metadata
- 删除 KnowledgeItemApplicationService 中的相关验证和默认值设置逻辑
- 移除 TagMapper 和 Tag 相关的数据处理代码
- 简化创建和更新知识条目的业务流程
- 更新数据库查询条件以适应新的实体结构
- 从各种 DTO 中移除已删除字段的定义和验证规则
- 修改分页查询逻辑以匹配新的字段结构
2026-01-29 15:09:47 +08:00
49b7f2a64c refactor(KnowledgeManagement): 优化知识集详情页面文件记录渲染逻辑
- 将重复的条件判断提取为变量 isFileRecord
- 使用立即执行函数简化 JSX 结构
- 统一文件类型记录的操作按钮渲染方式
- 提高代码可读性和维护性
2026-01-29 15:00:20 +08:00
dd67a0a5d9 refactor(KnowledgeManagement): 简化知识条目编辑器组件
- 移除表单验证和字段管理功能
- 删除日期选择器、下拉选择框等复杂表单元素
- 移除标签获取和状态管理逻辑
- 简化文件上传和替换流程
- 重构提交处理逻辑,区分创建和替换模式
- 移除冗余的类型定义和常量引用
- 优化文件列表管理和标题设置逻辑
2026-01-29 14:45:18 +08:00
6eb7507adf feat(repository): 添加查询衍生文件源文件ID功能
- 在 DatasetFileRepository 接口中添加 findSourceFileIdsWithDerivedFiles 方法定义
- 在 DatasetFileRepositoryImpl 实现类中实现该方法
- 添加查询 metadata 中包含 derived_from_file_id 记录的源文件ID逻辑
- 提供完整的 JavaDoc 文档注释说明方法用途和参数
2026-01-29 14:40:44 +08:00
0dba604cd3 refactor(KnowledgeItemEditor): 重构知识项编辑器组件结构
- 提取创建模式判断逻辑为独立变量 isCreateMode
- 使用条件渲染替代原有的 data?.id 判断
- 将表单字段按照创建和编辑模式进行分组重构
- 优化文件上传和替换功能的显示逻辑
- 改进代码可读性和维护性
2026-01-29 14:37:05 +08:00
f77fd99c31 feat(data-management): 扩展文档解析功能支持DOC和DOCX格式
- 添加对DOC和DOCX文件类型的常量定义和支持
- 将文件类型验证逻辑从仅PDF扩展为PDF/DOC/DOCX
- 集成Docx2txtLoader用于处理Word文档解析
- 更新错误消息为中文描述以提升用户体验
- 重构文件解析方法以支持多种文档格式
- 添加解析器元数据记录以追踪使用的解析工具
- 更新文件路径验证和构建逻辑以适配新的文件类型
2026-01-29 13:05:58 +08:00
ab957ab53d feat(dataset): 添加PDF文本提取功能支持
- 新增dataset模块路由配置
- 添加PdfTextExtractRequest和PdfTextExtractResponse数据传输对象
- 实现PDF文本提取接口,支持从PDF文件中提取文本内容
- 集成数据库会话管理和异步处理能力
2026-01-29 11:45:23 +08:00
5eafcf0145 refactor(request): 优化请求处理逻辑并添加PDF提取接口定义
- 简化catch语句移除不必要的异常变量
- 删除无用的FormData条件判断代码
- 将变量声明从let改为const提升代码质量
- 移除响应拦截器中的冗余参数传递
- 在数据集模式模块中添加PDF文本提取相关的请求响应模型
- 更新模块导出列表包含新的PDF提取接口类型定义
2026-01-29 11:40:30 +08:00
ce98be5778 feat(knowledge): 添加知识条目文件预览和替换功能
- 后端实现知识条目文件预览接口,支持多种文件类型在线预览
- 后端实现知识条目文件替换功能,保留原有文件管理逻辑
- 前端新增文件预览模态框组件,支持文本、图片、音视频预览
- 前端知识条目编辑器添加文件替换上传功能
- 前端优化文件内容截断预览逻辑,统一使用工具函数处理
- 前端修复 PUT 请求中 FormData 处理问题,确保文件上传正常工作
- 新增文件预览相关工具函数和常量配置
2026-01-29 11:38:43 +08:00
d0b5473068 feat(knowledge): 添加知识条目文件上传和下载功能
- 新增文件上传接口支持批量上传知识条目文件
- 实现文件存储路径管理和安全验证机制
- 添加文件下载功能支持知识条目文件导出
- 扩展知识内容类型枚举增加FILE类型
- 扩展知识来源类型枚举增加FILE_UPLOAD类型
- 新增上传请求DTO定义文件验证和元数据配置
- 实现文件上传目录管理和文件名安全处理
- 添加文件扩展名识别和内容类型转换逻辑
2026-01-29 11:17:24 +08:00
3c4b66b451 feat(DataManagement): 添加文件预览功能支持多种文件类型
- 实现文本、图片、视频、音频文件的预览功能
- 添加预览模态框支持不同文件类型的展示
- 集成文件类型检测和预览内容加载逻辑
- 添加预览加载状态和错误处理机制
- 实现大文件内容截断和滚动预览功能
- 添加预览窗口关闭和资源清理功能
2026-01-28 11:18:08 +08:00
4233da5b91 fix(annotation): 调整模板查询大小限制
- 将模板查询大小从 200 减少到 100
- 添加注释说明后端最大限制为 100
- 确保与模板 API 的 'size' 参数一致
2026-01-28 10:03:11 +08:00
43f7d88ad2 fix(data-cleaning): 修复数据集文件查询方法调用参数缺失问题
- 为datasetFileService.getDatasetFiles方法调用补充了缺失的参数
- 确保分页查询功能正常工作
- 解决了因参数不匹配导致的方法
2026-01-27 19:54:11 +08:00
a28b427e21 feat(data-annotation): 添加任务预加载功能以提升用户体验
- 引入 UpsertAnnotationResponse 类型定义用于处理标注更新响应
- 移除废弃的 mergeTaskPages 函数并优化任务列表合并逻辑
- 新增 prefetchSeqRef 和 prefetching 状态管理预加载过程
- 实现 startPrefetchTasks 函数用于后台预加载剩余页的任务数据
- 更新 loadTasks 函数移除 refresh 模式并集成预加载机制
- 修改标注保存逻辑直接更新本地任务状态而非重新加载全部数据
- 在加载按钮中显示预加载状态提示用户当前操作进度
- 项目切换时重置预加载序列号确保状态一致性
2026-01-27 19:45:25 +08:00
1158647217 feat(annotation): 实现任务列表分页加载和优化排序功能
- 添加分页相关字段到EditorTaskListResponse类型定义
- 定义TASK_PAGE_START和TASK_PAGE_SIZE常量及NormalizedTaskList类型
- 实现mergeTaskItems、mergeTaskPages和normalizeTaskListResponse工具函数
- 添加taskPage、taskTotal、taskTotalPages和loadingMore状态管理
- 优化后端查询逻辑,使用case语句实现标注状态排序
- 集成外连接查询同时获取文件信息和标注结果
- 改进前端任务列表的数据合并和分页加载机制
2026-01-27 19:08:37 +08:00
3a93098b57 feat(data-management): 添加数据集文件标注结果过滤功能
- 在 OpenAPI 规范中添加 hasAnnotation 查询参数用于过滤存在标注结果的文件
- 修改后端服务层 DatasetFileApplicationService 支持 hasAnnotation 参数
- 更新数据访问层 DatasetFileRepositoryImpl 实现基于标注结果的存在性查询
- 调整前端 DatasetFileTransfer 组件支持标注过滤功能
- 移除无用的分块选项配置并优化全选逻辑
- 修复文件查询时的参数传递和依赖追踪问题
2026-01-27 18:11:30 +08:00
e56211107e feat(annotation): 添加Label Studio文本编辑器的焦点管理功能
- 实现focusIframe函数用于聚焦iframe元素
- 在iframeReady和lsReady状态变化时自动聚焦编辑器
- 添加窗口聚焦事件监听器以保持编辑器焦点
- 在编辑器容器上添加鼠标点击事件以获取焦点
- 确保标签工作室准备就绪后正确设置焦点
- 优化用户体验通过自动焦点切换机制
2026-01-27 14:37:14 +08:00
e489a0023a refactor(annotation): 优化模板默认选择逻辑
- 添加 resolveTemplateTimestamp 函数解析模板时间戳
- 将默认模板选择逻辑从查找内置模板改为选择最新更新的模板
- 使用 reduce 方法实现按时间戳排序的模板选择
- 提高模板选择的准确性和时效性
2026-01-27 00:07:33 +08:00
977a930c97 feat(annotation): 支持音频和视频数据类型的标注任务
- 添加了音频和视频数据类型常量定义
- 实现了音频和视频标注模板的内置配置
- 扩展前端组件以支持按数据类型过滤标注模板
- 重构后端编辑器服务以处理音频和视频任务构建
- 更新数据库初始化脚本包含音频和视频标注模板
- 添加音频和视频数据类型的预览URL映射逻辑
2026-01-26 23:54:40 +08:00
47295e8cdf fix(annotation): 修复文本数据集段落切片显示条件
Some checks failed
CodeQL Advanced / Analyze (actions) (push) Has been cancelled
CodeQL Advanced / Analyze (java-kotlin) (push) Has been cancelled
CodeQL Advanced / Analyze (javascript-typescript) (push) Has been cancelled
CodeQL Advanced / Analyze (python) (push) Has been cancelled
- 添加 selectedDatasetId 条件确保段落切片仅在选择数据集后显示
- 防止在未选择数据集时错误显示段落切片配置选项
2026-01-26 13:49:58 +08:00
7cc3d34575 refactor(annotation): 优化段落切片配置的显示逻辑
- 移除非文本数据集的段落切片配置选项
- 简化条件渲染逻辑,仅在文本数据集时显示段落切片配置
- 统一两个组件中的段落切片配置显示规则
- 移除冗余的数据集选择和类型检查提示信息
- 优化编辑模式下的禁用状态处理
2026-01-26 12:19:49 +08:00
371df12a96 feat(annotation): 添加文本数据集段落切片功能
- 在前端组件中新增 segmentationEnabled 字段控制切片开关
- 为文本数据集添加段落切片配置选项,默认启用切片功能
- 在后端接口中新增 segmentation_enabled 参数传递给标注项目
- 实现切片逻辑控制,支持文本数据的自动段落分割
- 添加数据集类型判断,仅文本数据集支持切片配置
- 更新标注任务创建和编辑表单中的切片相关字段处理
2026-01-26 12:14:27 +08:00
fa160164d2 feat(annotation): 添加文本标注编辑器中的段落树导航和自动跳转功能
- 引入 Tree 和 Empty 组件用于段落导航展示
- 实现分段树形结构数据生成和展示功能
- 添加自动跳转到下一个待标注文件或段落的功能
- 优化文件选择逻辑,优先选择未标注的文件
- 实现段落切换时的状态管理和依赖更新
- 添加段落树节点选中和展开状态控制
- 优化界面布局和滚动区域的高度计算
2026-01-26 11:44:33 +08:00
6835511f5a feat(data-management): 修改知识项导出功能为ZIP格式
- 将导出文件格式从JSON改为ZIP压缩包
- 使用ZipArchiveOutputStream实现ZIP文件创建
- 为每个知识项创建独立的文件条目
- 添加文件名规范化和长度限制逻辑
- 实现重复文件名的索引编号处理
- 移除Jackson ObjectMapper依赖引入
- 更新响应头内容类型为application/zip
2026-01-26 11:15:58 +08:00
a8c7c9404c feat(knowledge): 添加知识条目导出功能和文件上传支持
- 在 KnowledgeItemApplicationService 中新增 exportKnowledgeItems 方法实现知识条目导出
- 添加 export 相关常量配置包括文件名格式、内容类型等
- 在 KnowledgeItemRepository 中新增 findAllBySetId 查询方法
- 在 KnowledgeItemController 中新增 export 接口端点
- 在 KnowledgeItemEditor 组件中添加文件上传功能支持 txt/md/markdown 格式
- 在 KnowledgeSetDetail 页面中添加导出按钮并集成导出 API
- 更新前端 API 文件添加 exportKnowledgeItemsUsingGet 方法
- 配置文件上传验证和自动填充标题内容逻辑
2026-01-26 11:13:21 +08:00
be98a9534c feat(dataannotation): 隐藏自定义配置选项
- 在创建标注任务对话框中注释掉自定义配置按钮
- 在创建任务页面中注释掉自定义配置按钮
- 暂时移除用户自定义配置功能入口
2026-01-26 10:31:19 +08:00
d26040a6e0 refactor(DataManagement): 重构数据管理详情页面组件
- 移除 Overview 组件中的文件列表多选配置功能
- 添加 DatasetFileRow 类型定义并更新相关类型注解
- 修改 Overview 组件属性接口,增加 onUpload 回调函数
- 更新表格渲染函数中的类型注解,统一使用 DatasetFileRow 类型
- 简化按钮点击事件处理函数的参数传递
- 在 DatasetDetail 页面中移除顶部工具栏的上传按钮
- 将上传功能集成到 Overview 组件的文件操作区域
- 通过回调函数实现
2026-01-26 10:31:09 +08:00
a8c5de0aa6 feat(db): 添加图像分类标注模板到数据库初始化脚本
- 新增图像分类标注模板配置,支持内容审核、安全检测等场景
- 集成 ResNet、EfficientNet、Vision Transformer 关联模型
- 添加 Choices 标签配置,包含 Adult content、Weapons、Violence 选项
- 设置 Image 对象类型用于图像展示和标注
- 配置水平布局样式和计算机视觉类别属性
2026-01-26 10:19:55 +08:00
c5aa052451 feat(annotation): 添加图像分类内置模板
- 新增 IMAGE_CLASSIFICATION_LABEL_CONFIG 配置定义
- 添加图像分类内置模板定义,包含 Adult content、Weapons、Violence 分类选项
- 配置图像分类模板的数据类型为图片类型
- 设置图像分类模板的标签配置和样式
- 定义图像分类模板的描述信息和版本信息
2026-01-25 19:00:01 +08:00
250a13ff70 feat(annotation): 支持图像标注项目并添加内置标注模板
- 扩展标注编辑器支持 TEXT/IMAGE 数据类型
- 添加三个内置图像标注模板:目标检测、语义分割(掩码)、语义分割(多边形)
- 实现内置标注模板的数据库初始化功能
- 集成标注配置验证和模板管理服务
- 更新项目不支持提示信息以反映新的数据类型支持
2026-01-25 18:35:07 +08:00
c5ace0c4cc feat(annotation): 支持图像数据集的内嵌标注编辑器
- 添加文件预览接口,支持以 inline 方式预览数据集中的指定文件
- 实现图像任务构建功能,支持图像标注任务的数据结构
- 扩展标注编辑器服务以支持 TEXT 和 IMAGE 类型数据集
- 添加媒体对象分类支持,解析图像标注配置
- 实现图像文件预览 URL 构建逻辑
- 优化项目信息获取和任务响应构建流程
- 修复数据库查询中的项目 ID 引用错误
2026-01-25 17:25:44 +08:00
e6d1e4763f feat(template): 添加标签显示名称映射功能
- 引入 COMMON_TAG_DISPLAY_NAMES 映射表,为常用标签提供中文显示名称
- 更新布局控件选项以使用中文显示名称
- 修改容器选项以使用中文显示名称
- 添加 getTagDisplayName 回调函数,统一处理标签名称显示逻辑
- 优化节点标题显示,结合标签类型和属性值展示更友好的名称
- 更新依赖数组以包含新的显示名称函数
2026-01-24 17:36:18 +08:00
03402e4559 fix(annotation): 修复段落导航栏布局问题
- 修改段落导航容器为 flex-nowrap 防止换行
- 为段落标签添加 shrink-0 类避免压缩
- 使用 flex-1 min-w-0 优化段落列表容器
- 添加 overflow-x-auto 和 whitespace-nowrap 实现横向滚动
- 为右侧控制区域添加 shrink-0 和 whitespace-nowrap 类
2026-01-24 16:28:07 +08:00
0e30e658e9 feat(annotation): 添加 JSONL 文件支持和文本键解析功能
- 添加 JSONL 文件扩展名常量定义
- 实现主文本键解析方法 _resolve_primary_text_key
- 添加 JSONL 记录解析方法 _parse_jsonl_records
- 修改任务数据构建方法以支持主文本键参数
- 实现主文本值解析方法 _resolve_primary_text_value
- 更新项目信息获取逻辑以支持 JSONL 多行记录处理
- 修改分段逻辑以支持 JSONL 多行或超长文本分段
- 调整标注处理逻辑以正确处理分段标注场景
2026-01-23 22:09:06 +08:00
8e06a36460 fix(annotation): 修复模板配置树编辑器组件渲染问题
- 为 Tree 组件添加 key 属性以确保正确的组件实例化
- 启用 defaultExpandAll 属性以默认展开所有节点
- 保持拖拽功能在结构锁定状态下的正常工作
2026-01-23 16:16:02 +08:00
3f566a0b08 feat(annotation): 替换模板配置表单为树形编辑器组件
- 移除 TemplateConfigurationForm 组件并引入 TemplateConfigurationTreeEditor
- 使用 useTagConfig Hook 获取标签配置
- 将自定义XML状态 customXml 替换为 labelConfig
- 删除模板编辑标签页和选择模板状态管理
- 更新XML解析逻辑支持更多对象和标注控件类型
- 添加配置验证功能确保至少包含数据对象和标注控件
- 在模板详情页面使用树形编辑器显示配置详情
- 更新任务创建页面集成新的树形配置编辑器
- 调整预览数据生成功能适配新的XML解析方式
2026-01-23 16:11:59 +08:00