|
|
06a7cd9abd
|
feat(auth): 角色管理CRUD与角色权限绑定功能
CodeQL Advanced / Analyze (actions) (push) Has been cancelled
CodeQL Advanced / Analyze (java-kotlin) (push) Has been cancelled
CodeQL Advanced / Analyze (javascript-typescript) (push) Has been cancelled
CodeQL Advanced / Analyze (python) (push) Has been cancelled
新增角色创建/编辑/删除接口和角色-权限绑定接口，支持管理员自定义角色并灵活配置权限。
前端新增角色CRUD弹窗、按模块分组的权限配置面板，内置角色禁止删除但允许编辑和配置权限。
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
|
2026-02-10 00:09:48 +08:00 |
|
|
|
2f8645a011
|
fix(auth): harden confidential knowledge access checks and sensitivity filtering
|
2026-02-09 17:09:34 +08:00 |
|
|
|
71f8f7d1c3
|
feat: 实现任务拆分和分配功能
## 功能概述
实现完整的任务拆分、分配和进度跟踪功能，支持将任务拆分为子任务并分配给不同用户。
## Phase 1: 数据库层
- 新增 t_task_meta 表（任务元数据协调表）
- 新增 t_task_assignment_log 表（分配日志表）
- 新增 3 个权限条目（read/write/assign）
- 新增 SQLAlchemy ORM 模型
## Phase 2: 后端 API (Java)
- 新增 task-coordination-service 模块（32 个文件）
- 实现 11 个 API 端点：
- 任务查询（列表、子任务、我的任务）
- 任务拆分（支持 4 种策略）
- 任务分配（单个、批量、重新分配、撤回）
- 进度管理（查询、更新、聚合）
- 分配日志
- 集成权限控制和路由规则
## Phase 3: 前端 UI (React + TypeScript)
- 新增 10 个文件（模型、API、组件、页面）
- 实现 5 个核心组件：
- SplitTaskDialog - 任务拆分对话框
- AssignTaskDialog - 任务分配对话框
- BatchAssignDialog - 批量分配对话框
- TaskProgressPanel - 进度面板
- AssignmentLogDrawer - 分配记录
- 实现 2 个页面：
- TaskCoordination - 任务管理主页
- MyTasks - 我的任务页面
- 集成侧边栏菜单和路由
## 问题修复
- 修复 getMyTasks 分页参数缺失
- 修复子任务 assignee 信息缺失（批量查询优化）
- 修复 proportion 精度计算（余量分配）
## 技术亮点
- 零侵入设计：通过独立协调表实现，不修改现有模块
- 批量查询优化：避免 N+1 查询问题
- 4 种拆分策略：按比例/数量/文件/手动
- 进度自动聚合：子任务更新自动聚合到父任务
- 权限细粒度控制：read/write/assign 三级权限
## 验证
- Maven 编译：✅ 零错误
- TypeScript 编译：✅ 零错误
- Vite 生产构建：✅ 成功
|
2026-02-09 00:42:34 +08:00 |
|
|
|
329382db47
|
fix(pdf): 优化PDF文本提取服务异常处理
- 添加FeignException专门处理逻辑
- 实现详细的Feign异常日志记录功能
- 新增响应体解析和根因链构建方法
- 添加异常消息规范化处理
- 改进错误日志的可读性和调试信息完整度
|
2026-02-06 18:52:51 +08:00 |
|
|
|
0f1dd9ec8d
|
Merge remote-tracking branch 'gitea/lsf' into lsf
|
2026-02-06 18:29:58 +08:00 |
|
|
|
38add27d84
|
fix: 修复 Codex 审查发现的两个数据一致性问题
- [P1] 调整删除顺序：先删除数据库记录，成功后再删除派生文件
避免源文件删除失败时派生文件已被删除导致的数据不一致
- [P2] 完善 logicalPath 空值判断：使用 StringUtils.isBlank() 处理
null、空字符串和纯空白字符，防止误删其他文件
Fixes review comments from commits f9f4ea3
|
2026-02-06 18:00:32 +08:00 |
|
|
|
f9f4ea352e
|
fix: 修复 codex 审查发现的两个问题
- [P1] 当 logicalPath 为 null 时，直接删除当前文件（兼容旧数据）
- [P2] 数据库删除失败时，return 跳过后续清理以避免数据不一致
|
2026-02-06 17:42:59 +08:00 |
|
|
|
24d8ee49a1
|
feat: 优化文件删除逻辑，支持级联删除版本和派生文件
- 删除文件时，如果存在多个版本，一并删除所有版本
- 删除PDF/doc/docx/xls/xlsx时，一并删除其派生的txt文件
- 文件删除失败时记录日志但不影响删除成功
|
2026-02-06 17:23:37 +08:00 |
|
|
|
6a4c4ae3d7
|
feat(auth): 为数据管理和RAG服务增加资源访问控制
- 在DatasetApplicationService中注入ResourceAccessService并添加所有权验证
- 在KnowledgeSetApplicationService中注入ResourceAccessService并添加所有权验证
- 修改DatasetRepository接口和实现类，增加按创建者过滤的方法
- 修改KnowledgeSetRepository接口和实现类，增加按创建者过滤的方法
- 在RAG索引器服务中添加知识库访问权限检查和作用域过滤
- 更新实体元对象处理器以使用请求用户上下文获取当前用户
- 在前端设置页面添加用户权限管理功能和角色权限控制
- 为Python标注服务增加用户上下文和数据集访问权限验证
|
2026-02-06 14:58:46 +08:00 |
|
|
|
056cee11cc
|
feat(auth): 完善API网关JWT认证和权限控制功能
- 实现网关侧JWT工具类和权限规则匹配器
- 集成JWT认证流程，支持Bearer Token验证
- 添加基于路径和HTTP方法的权限控制机制
- 配置白名单路由规则，优化认证性能
- 更新前端受保护路由组件，实现权限验证
- 添加403禁止访问页面和权限检查逻辑
- 重构登录页面，集成实际认证API调用
- 实现用户信息获取和权限加载功能
- 优化全局异常处理器中的认证错误状态码
- 集成FastJSON2和JJWT依赖库支持
|
2026-02-06 13:21:20 +08:00 |
|
|
|
5507adeb45
|
fix(knowledge): 优化知识项文件删除逻辑
- 添加内容类型检查，仅处理文件类型的知识项
- 修改源类型判断条件，提前返回非文件上传和手动创建的类型
- 保持原有的文件路径解析和删除操作逻辑
- 维持异常处理和日志记录功能
|
2026-02-05 21:24:12 +08:00 |
|
|
|
4143bc75f9
|
fix: 修复codex review发现的问题
问题1 - 行锁持有时间过长：
- 采用双重检查锁定模式，将HTTP调用移到锁范围外
- 新增 _update_knowledge_set_config 方法专门处理加锁更新
问题2 - 清理不完整：
- _list_knowledge_sets 方法添加分页参数
- 新增 _list_all_knowledge_sets 方法遍历所有知识集
- 清理方法使用新的全量查询方法
问题3 - 文件删除逻辑可能误删：
- deleteKnowledgeItemFile 方法增加严格的 sourceType 检查
- 只有当 sourceType 为 FILE_UPLOAD 或 MANUAL 时才删除文件
- 避免误删 DATASET_FILE 类型的数据集文件
涉及文件：
- knowledge_sync.py
- KnowledgeItemApplicationService.java
|
2026-02-05 04:07:40 +08:00 |
|
|
|
99bd83d312
|
fix: 修复知识库同步的并发控制、数据清理、文件事务和COCO导出问题
问题1 - 并发控制缺失：
- 在 _ensure_knowledge_set 方法中添加数据库行锁（with_for_update）
- 修改 _update_project_config 方法，使用行锁保护配置更新
问题3 - 数据清理机制缺失：
- 添加 _cleanup_knowledge_set_for_project 方法，项目删除时清理知识集
- 添加 _cleanup_knowledge_item_for_file 方法，文件删除时清理知识条目
- 在 delete_mapping 接口中调用清理方法
问题4 - 文件操作事务问题：
- 修改 uploadKnowledgeItems，添加事务失败后的文件清理逻辑
- 修改 deleteKnowledgeItem，删除记录前先删除关联文件
- 新增 deleteKnowledgeItemFile 辅助方法
问题5 - COCO导出格式问题：
- 添加 _get_image_dimensions 方法读取图片实际宽高
- 将百分比坐标转换为像素坐标
- 在 AnnotationExportItem 中添加 file_path 字段
涉及文件：
- knowledge_sync.py
- project.py
- KnowledgeItemApplicationService.java
- export.py
- export schema.py
|
2026-02-05 03:55:01 +08:00 |
|
|
|
c03bdf1a24
|
refactor(data-management): 移除未使用的数据库操作方法并优化查询条件
- 从 DatasetFileMapper 中移除未使用的 update 和 deleteById 方法
- 从 DatasetMapper 中移除未使用的 deleteById 方法
- 在 Python 项目中添加 or_ 操作符导入用于复杂查询
- 为数据集文件查询添加状态过滤条件，排除已归档的文件记录
|
2026-02-05 03:21:06 +08:00 |
|
|
|
f15fd044ce
|
fix(data-management): 修复SQL映射中的比较运算符转义问题
- 将XML文件中的 <> 运算符替换为 <> 实体编码
- 确保SQL查询在XML解析器中正确处理比较操作
- 修复了数据集文件状态过滤的查询逻辑
- 保持了原有的业务逻辑不变，仅修正语法问题
|
2026-02-05 02:07:31 +08:00 |
|
|
|
d0972cbc9d
|
feat(data-management): 实现数据集文件版本管理和内部路径保护
- 将数据集文件查询方法替换为只查询可见文件的版本
- 引入文件状态管理（ACTIVE/ARCHIVED）和内部目录结构
- 实现文件重复处理策略，支持版本控制模式而非覆盖
- 添加内部数据目录保护，防止访问.datamate等系统目录
- 重构文件上传流程，引入暂存目录和事务后清理机制
- 实现文件版本归档功能，保留历史版本到专用存储位置
- 优化文件路径规范化和安全验证逻辑
- 修复文件删除逻辑，确保归档文件不会被错误移除
- 更新数据集压缩下载功能以排除内部系统文件
|
2026-02-04 23:53:35 +08:00 |
|
|
|
394e2bda18
|
feat(data-management): 添加数据集文件取消上传功能
- 在OpenAPI规范中定义了取消上传的REST端点接口
- 实现了DatasetFileApplicationService中的取消上传业务逻辑
- 在FileService中添加了完整的取消上传服务方法
- 创建了DatasetUploadController控制器处理取消上传请求
- 实现了临时分片文件清理和数据库记录删除功能
|
2026-02-04 16:25:03 +08:00 |
|
|
|
f381d641ab
|
fix(upload): 修复流式上传中的文件名处理逻辑
- 修正预上传接口调用时传递正确的文件总数而非固定值-1
- 移除导入配置中文件分割时的文件扩展名保留逻辑
- 删除流式上传选项中的fileExtension参数定义
- 移除流式上传实现中的文件扩展名处理相关代码
- 简化新文件名生成逻辑，不再附加扩展名后缀
|
2026-02-04 07:47:41 +08:00 |
|
|
|
699031dae7
|
fix: 修复编辑数据集时无法清除关联数据集的编译问题
问题分析：
之前尝试使用 @TableField(updateStrategy = FieldStrategy.IGNORED/ALWAYS) 注解
来强制更新 null 值，但 FieldStrategy.ALWAYS 可能不存在于当前
MyBatis-Plus 3.5.14 版本中，导致编译错误。
修复方案：
1. 移除 Dataset.java 中 parentDatasetId 字段的 @TableField(updateStrategy) 注解
2. 移除不需要的 import com.baomidou.mybatisplus.annotation.FieldStrategy
3. 在 DatasetApplicationService.updateDataset 方法中：
- 添加 import com.baomidou.mybatisplus.core.conditions.update.LambdaUpdateWrapper
- 保存原始的 parentDatasetId 值用于比较
- handleParentChange 之后，检查 parentDatasetId 是否发生变化
- 如果发生变化，使用 LambdaUpdateWrapper 显式地更新 parentDatasetId 字段
- 这样即使值为 null 也能被正确更新到数据库
原理：
MyBatis-Plus 的 updateById 方法默认只更新非 null 字段。
通过使用 LambdaUpdateWrapper 的 set 方法，可以显式地设置字段值，
包括 null 值，从而确保字段能够被正确更新到数据库。
|
2026-02-03 11:09:15 +00:00 |
|
|
|
cc6415c4d9
|
fix: 修复编辑数据集时无法清除关联数据集的问题
问题描述：
在数据管理的数据集编辑中，如果之前设置了关联数据集，编辑时选择不关联数据集后保存不会生效。
根本原因：
MyBatis-Plus 的 updateById 方法默认使用 FieldStrategy.NOT_NULL 策略，
只有当字段值为非 null 时才会更新到数据库。
当 parentDatasetId 从有值变为 null 时，默认情况下不会更新到数据库。
修复方案：
在 Dataset.java 的 parentDatasetId 字段上添加 @TableField(updateStrategy = FieldStrategy.IGNORED) 注解，
表示即使值为 null 也需要更新到数据库。
配合前端修改（恢复发送空字符串），现在可以正确清除关联数据集：
1. 前端发送空字符串表示"无关联数据集"
2. 后端 handleParentChange 通过 normalizeParentId 将空字符串转为 null
3. dataset.setParentDatasetId(null) 设置为 null
4. 由于添加了 IGNORED 策略，即使为 null 也会更新到数据库
|
2026-02-03 10:57:08 +00:00 |
|
|
|
3d036c4cd6
|
fix: 修复编辑数据集时无法清除关联数据集的问题
问题描述：
在数据管理的数据集编辑中，如果之前设置了关联数据集，编辑时选择不关联数据集后保存不会生效。
问题原因：
后端 updateDataset 方法中的条件判断：
```java
if (updateDatasetRequest.getParentDatasetId() != null) {
handleParentChange(dataset, updateDatasetRequest.getParentDatasetId());
}
```
当 parentDatasetId 为 null 或空字符串时，条件判断为 false，不会执行 handleParentChange，导致无法清除关联数据集。
修复方案：
去掉条件判断，始终调用 handleParentChange。handleParentChange 内部通过 normalizeParentId 方法将空字符串和 null 都转换为 null，这样既支持设置新的父数据集，也支持清除关联。
配合前端修改（commit 2445235），将空字符串转换为 undefined（被后端反序列化为 null），确保清除关联的操作能够正确执行。
|
2026-02-03 09:35:09 +00:00 |
|
|
|
16eb5cacf9
|
feat(data-management): 添加知识项扩展元数据支持
- 在 KnowledgeItemApplicationService 中实现元数据字段的更新逻辑
- 为 CreateKnowledgeItemRequest 添加 metadata 字段定义
- 为 UpdateKnowledgeItemRequest 添加 metadata 字段定义
- 支持知识项创建和更新时的扩展元数据存储
|
2026-02-02 22:20:05 +08:00 |
|
|
|
a0239518fb
|
feat(dataset): 实现数据集文件可见性过滤功能
- 添加派生文件识别逻辑，通过元数据中的derived_from_file_id字段判断
- 实现applyVisibleFileCounts方法为数据集批量设置可见文件数量
- 修改数据集统计接口使用过滤后的可见文件进行统计计算
- 添加normalizeFilePath工具方法统一路径格式处理
- 更新文件查询逻辑支持派生文件过滤功能
- 新增DatasetFileCount DTO用于文件计数统计返回
|
2026-02-01 22:55:07 +08:00 |
|
|
|
438acebb89
|
feat(data-management): 添加Office文档预览功能
- 集成LibreOffice转换器实现DOC/DOCX转PDF功能
- 新增DatasetFilePreviewService处理预览文件管理
- 新增DatasetFilePreviewAsyncService异步转换任务
- 在文件删除时同步清理预览文件
- 前端实现Office文档预览状态轮询机制
- 添加预览API接口支持状态查询和转换触发
- 优化文件预览界面显示转换进度和错误信息
|
2026-02-01 22:26:05 +08:00 |
|
|
|
02cd16523f
|
refactor(data-management-service): 移除 docx4j 依赖
- 删除了 docx4j-core 依赖项
- 删除了 docx4j-export-fo 依赖项
- 更新了项目依赖配置
- 简化了构建配置文件
|
2026-02-01 21:18:50 +08:00 |
|
|
|
d4a44f3bf5
|
refactor(data-management): 优化知识项目预览服务的文件转换逻辑
- 移除 docx4j 相关依赖和转换方法
- 统一 office 文件转换为 pdf 的处理方式，全部使用 libreoffice
- 删除单独的 docx 到 pdf 转换方法
- 重命名转换方法为 convertOfficeToPdfByLibreOffice
- 增强路径解析逻辑，添加多种候选路径处理
- 添加路径安全性验证和规范化处理
- 新增 extractRelativePathFromSegment 和 normalizeRelativePathValue 辅助方法
- 改进文件存在性检查和路径构建逻辑
|
2026-02-01 21:18:14 +08:00 |
|
|
|
340a0ad364
|
refactor(data-management): 更新知识项存储路径解析方法
- 将 resolveKnowledgeItemStoragePath 方法替换为 resolveKnowledgeItemStoragePathWithFallback
- 新方法提供备用路径解析逻辑以增强文件定位的可靠性
|
2026-02-01 21:14:39 +08:00 |
|
|
|
00c41fbbd3
|
refactor(knowledge-item): 优化知识项预览文件路径处理逻辑
- 将文件路径验证逻辑从方法开始位置移动到实际使用位置
- 修复了预览文件名获取方式，直接从相对路径解析文件名
- 确保文件存在性检查只在需要时执行
- 提高了代码可读性和执行效率
|
2026-02-01 21:00:07 +08:00 |
|
|
|
40889baacc
|
feat(knowledge): 添加知识库条目预览功能
- 集成 docx4j 和 LibreOffice 实现 Office 文档转 PDF 预览
- 新增 KnowledgeItemPreviewService 处理预览转换逻辑
- 添加异步任务 KnowledgeItemPreviewAsyncService 进行文档转换
- 实现预览状态管理包括待转换、转换中、就绪和失败状态
- 在前端界面添加 Office 文档预览状态标签显示
- 支持 DOC/DOCX 文件在线预览功能
- 添加预览元数据存储和管理机制
|
2026-02-01 20:05:25 +08:00 |
|
|
|
d135a7f336
|
feat(knowledge): 添加知识库标签统计功能
- 在 KnowledgeItemApplicationService 中注入 TagMapper 并调用统计方法
- 新增 countKnowledgeSetTags 方法用于计算知识库中的标签总数
- 在 KnowledgeManagementStatisticsResponse 中添加 totalTags 字段
- 在前端 KnowledgeManagementPage 中显示标签总数统计信息
- 更新统计卡片布局从 3 列改为 4 列以适应新增统计项
- 在知识管理模型中添加 totalTags 类型定义
|
2026-02-01 18:46:31 +08:00 |
|
|
|
a4aefe66cd
|
perf(file): 增加文件上传默认超时时间
- 将默认超时时间从 120 秒增加到 1800 秒
- 提高大文件上传的处理能力
|
2026-01-31 19:15:21 +08:00 |
|
|
|
2f3a8b38d0
|
fix(dataset): 解决数据集文件查询时空目录导致异常的问题
- 添加目录存在性检查，避免文件系统访问异常
- 目录不存在时返回空分页结果而不是抛出异常
- 优化数据集刚创建时的用户体验
|
2026-01-31 19:10:22 +08:00 |
|
|
|
c23a9da8cb
|
feat(knowledge): 添加知识库目录管理功能
- 在知识条目表中新增relative_path字段用于存储条目相对路径
- 创建知识条目目录表用于管理知识库中的目录结构
- 实现目录的增删查接口和相应的应用服务逻辑
- 在前端知识库详情页面集成目录显示和操作功能
- 添加目录创建删除等相关的API接口和DTO定义
- 更新数据库初始化脚本包含新的目录表结构
|
2026-01-31 18:36:40 +08:00 |
|
|
|
310bc356b1
|
feat(knowledge): 添加知识库文件目录结构支持功能
- 在 KnowledgeItem 模型中增加 relativePath 字段存储相对路径
- 实现文件上传时的目录前缀处理和相对路径构建逻辑
- 添加批量删除知识条目的接口和实现方法
- 重构前端 KnowledgeSetDetail 组件以支持目录浏览和管理
- 实现文件夹创建、删除、导航等目录操作功能
- 更新数据查询逻辑以支持按相对路径进行搜索和过滤
- 添加前端文件夹图标显示和目录层级展示功能
|
2026-01-31 17:45:43 +08:00 |
|
|
|
595a758d05
|
refactor(data-management): 优化PDF文本提取服务的事务处理
- 添加TransactionSynchronization相关依赖注入
- 实现事务提交后异步执行PDF文本提取功能
- 增加数据集ID和文件ID的空值检查
- 在活跃事务中注册同步回调确保正确执行
- 避免在事务未提交时提前执行异步任务
|
2026-01-31 13:59:03 +08:00 |
|
|
|
4fa0ac1df4
|
config(security): 禁用安全配置中的frameOptions以允许iframe嵌入
- 在SecurityFilterChain中添加headers配置
- 禁用frameOptions以解决iframe嵌入限制问题
- 保持csrf禁用和其他现有安全设置不变
|
2026-01-31 13:57:38 +08:00 |
|
|
|
b5d7c66240
|
feat(data-management): 扩展源文档排除功能支持Excel文件类型
- 在后端服务中扩展源文档类型检查，新增对XLS和XLSX文件的支持
- 修改DatasetFileApplicationService中的过滤逻辑，统一处理所有源文档类型
- 新增isSourceDocument和isDerivedFile辅助方法进行文件类型判断
- 更新前端DatasetFileTransfer组件中的注释说明
- 在Python运行时依赖中添加openpyxl和xlrd库以支持Excel文件处理
- 修改标注项目接口中源文档类型的集合定义
- 更新文件操作钩子中的派生文件排除逻辑
|
2026-01-31 11:30:55 +08:00 |
|
|
|
498f23a0c4
|
feat(data-management): 扩展文本数据集支持Excel文件类型
- 在DatasetFileApplicationService中添加XLS和XLSX文件类型到文档文本文件类型集合
- 更新DatasetTypeController中的TEXT数据集类型支持xls和xlsx扩展名
- 在pdf_extract.py中添加XLS和XLSX文件类型的常量定义和解析器配置
- 实现Excel文件转CSV的功能，支持单个工作表和多工作表的解析
- 添加对Excel文件的依赖检查和错误处理机制
- 修改目标文件路径构建逻辑以支持不同文件类型的派生扩展名
- 更新文本文件记录创建逻辑以使用派生文件类型而不是固定文本类型
|
2026-01-31 11:11:24 +08:00 |
|
|
|
790385bd80
|
feat(knowledge-management): 添加知识管理搜索功能和统计接口
- 新增知识条目搜索查询和响应DTO
- 实现知识管理统计功能，包括总数、文件数和总大小
- 添加数据库查询方法支持文件搜索和统计计算
- 创建知识条目搜索控制器提供REST API
- 在前端添加知识管理搜索页面和相关组件
- 更新前端路由配置添加搜索页面入口
- 移除RAG索引服务中的重复统计功能
- 优化前端页面统计数据显示和刷新逻辑
|
2026-01-31 09:30:37 +08:00 |
|
|
|
fd209c3083
|
feat(knowledge-base): 添加知识库统计功能
- 后端服务新增 KnowledgeBaseStatisticsResp 和 RagFileStatistics 数据传输对象
- 在 KnowledgeBaseService 中实现 getStatistics 方法提供统计信息查询
- 为 RagFileRepository 添加 getStatistics 接口及其实现
- 通过 MyBatis Mapper 实现数据库层面的统计查询功能
- 在 KnowledgeBaseController 中暴露 /statistics 接口供前端调用
- 前端页面集成统计卡片组件展示知识库、文件数量及总大小信息
- 实现前后端数据同步机制确保统计数据实时更新
|
2026-01-30 23:17:40 +08:00 |
|
|
|
76f70a6847
|
feat(knowledge-base): 添加知识库文件全库检索功能
- 新增相对路径字段替代原有的metadata存储方式
- 实现跨知识库文件检索接口searchFiles
- 添加前端全库检索页面和相关API调用
- 优化文件路径处理和数据库索引配置
- 统一请求参数类型定义为RequestPayload和RequestParams
- 简化RagFile模型中的元数据结构设计
|
2026-01-30 22:24:12 +08:00 |
|
|
|
cbad129ce4
|
feat(rag): 添加相对路径搜索功能并优化文件显示
- 在RagFileRepositoryImpl中新增relativePath字段和路径模式构建方法
- 实现buildRelativePathPattern方法用于构建相对路径搜索模式
- 修改page方法添加相对路径模糊查询支持
- 在RagFileReq DTO中添加relativePath参数字段
- 优化KnowledgeBaseDetail页面中的文件名显示逻辑
- 添加normalizePath函数处理文件路径规范化显示
|
2026-01-30 21:55:29 +08:00 |
|
|
|
ca7ff56610
|
feat(rag): 添加文件相对路径支持功能
- 在FileInfo DTO中新增relativePath字段
- 实现文件相对路径的规范化处理逻辑
- 将文件相对路径存储到元数据中
- 前端添加文件路径解析和显示功能
- 优化路径分隔符统一处理机制
- 更新文件列表展示逻辑以支持路径层级结构
|
2026-01-30 21:46:03 +08:00 |
|
|
|
9a205919d7
|
refactor(data-import): 优化数据源文件扫描和复制逻辑
- 修改数据源文件扫描方法，直接在主流程中获取任务详情和路径
- 移除独立的getFilePaths方法，将路径扫描逻辑整合到scanFilePaths方法中
- 新增copyFilesToDatasetDirWithSourceRoot方法支持保留相对路径的文件复制
- 更新数据集文件应用服务中的文件复制逻辑，支持相对路径处理
- 修改Python后端项目接口中的文件查询逻辑，移除注释掉的编辑器服务引用
- 调整文件过滤逻辑，基于元数据中的派生源ID进行文件筛选
- 移除编辑器服务中已废弃的源文档过滤条件
|
2026-01-30 18:58:34 +08:00 |
|
|
|
bd37858ccc
|
refactor(dataset): 优化数据集路径管理和关联关系处理
- 移除Dataset类中initCreateParam方法的parentPath参数
- 简化handleParentChange方法中的路径构建逻辑
- 更新错误消息将"子数据集"改为"关联数据集"
- 修改前端界面将"父数据集"相关术语统一为"关联数据集"
- 在导入配置组件中添加类型定义和改进文件处理逻辑
- 限制数据源选项排除COLLECTION类型避免错误选择
|
2026-01-30 16:48:39 +08:00 |
|
|
|
c221666e67
|
feat(data-management): 添加数据集相似度推荐功能
- 在DatasetApplicationService中实现getSimilarDatasets方法，支持基于标签匹配的相似数据集推荐
- 新增normalizeSimilarLimit、normalizeTagNames、countSharedTags等辅助方法用于相似度计算
- 在DatasetRepository接口及其实现类中添加findSimilarByTags方法，支持数据库层面的标签匹配查询
- 在DatasetController中暴露/similar REST API端点，支持按需获取相似数据集
- 在前端Overview组件中展示相似数据集表格，包含名称、标签、类型、文件数和更新时间等信息
- 在DatasetDetail页面集成相似数据集获取逻辑，限制默认返回数量为4条
- 移除KnowledgeItem中的冗余title字段，统一使用其他标识信息
- 优化知识管理相关组件中的标题显示逻辑，移除硬编码标题值
|
2026-01-30 11:43:57 +08:00 |
|
|
|
3cc0802355
|
refactor(data-management): 移除知识条目的冗余字段和验证逻辑
- 移除 KnowledgeItem 实体中的 title、status、domain、businessLine、owner、sensitivity 字段
- 移除 KnowledgeItem 实体中的有效期限相关字段 validFrom 和 validTo
- 移除 KnowledgeItem 实体中的标签集合 tags 和扩展元数据 metadata
- 删除 KnowledgeItemApplicationService 中的相关验证和默认值设置逻辑
- 移除 TagMapper 和 Tag 相关的数据处理代码
- 简化创建和更新知识条目的业务流程
- 更新数据库查询条件以适应新的实体结构
- 从各种 DTO 中移除已删除字段的定义和验证规则
- 修改分页查询逻辑以匹配新的字段结构
|
2026-01-29 15:09:47 +08:00 |
|
|
|
6eb7507adf
|
feat(repository): 添加查询衍生文件源文件ID功能
- 在 DatasetFileRepository 接口中添加 findSourceFileIdsWithDerivedFiles 方法定义
- 在 DatasetFileRepositoryImpl 实现类中实现该方法
- 添加查询 metadata 中包含 derived_from_file_id 记录的源文件ID逻辑
- 提供完整的 JavaDoc 文档注释说明方法用途和参数
|
2026-01-29 14:40:44 +08:00 |
|
|
|
f77fd99c31
|
feat(data-management): 扩展文档解析功能支持DOC和DOCX格式
- 添加对DOC和DOCX文件类型的常量定义和支持
- 将文件类型验证逻辑从仅PDF扩展为PDF/DOC/DOCX
- 集成Docx2txtLoader用于处理Word文档解析
- 更新错误消息为中文描述以提升用户体验
- 重构文件解析方法以支持多种文档格式
- 添加解析器元数据记录以追踪使用的解析工具
- 更新文件路径验证和构建逻辑以适配新的文件类型
|
2026-01-29 13:05:58 +08:00 |
|
|
|
ab957ab53d
|
feat(dataset): 添加PDF文本提取功能支持
- 新增dataset模块路由配置
- 添加PdfTextExtractRequest和PdfTextExtractResponse数据传输对象
- 实现PDF文本提取接口，支持从PDF文件中提取文本内容
- 集成数据库会话管理和异步处理能力
|
2026-01-29 11:45:23 +08:00 |
|
