|
|
f381d641ab
|
fix(upload): 修复流式上传中的文件名处理逻辑
- 修正预上传接口调用时传递正确的文件总数而非固定值-1
- 移除导入配置中文件分割时的文件扩展名保留逻辑
- 删除流式上传选项中的fileExtension参数定义
- 移除流式上传实现中的文件扩展名处理相关代码
- 简化新文件名生成逻辑，不再附加扩展名后缀
|
2026-02-04 07:47:41 +08:00 |
|
|
|
c8611d29ff
|
feat(upload): 实现流式分割上传，优化大文件上传体验
实现边分割边上传的流式处理，避免大文件一次性加载导致前端卡顿。
修改内容：
1. file.util.ts - 流式分割上传核心功能
- 新增 streamSplitAndUpload 函数，实现边分割边上传
- 新增 shouldStreamUpload 函数，判断是否使用流式上传
- 新增 StreamUploadOptions 和 StreamUploadResult 接口
- 优化分片大小（默认 5MB）
2. ImportConfiguration.tsx - 智能上传策略
- 大文件（>5MB）使用流式分割上传
- 小文件（≤5MB）使用传统分割方式
- 保持 UI 不变
3. useSliceUpload.tsx - 流式上传处理
- 新增 handleStreamUpload 处理流式上传事件
- 支持并发上传和更好的进度管理
4. TaskUpload.tsx - 进度显示优化
- 注册流式上传事件监听器
- 显示流式上传信息（已上传行数、当前文件等）
5. dataset.model.ts - 类型定义扩展
- 新增 StreamUploadInfo 接口
- TaskItem 接口添加 streamUploadInfo 和 prefix 字段
实现特点：
- 流式读取：使用 Blob.slice 逐块读取，避免一次性加载
- 逐行检测：按换行符分割，形成完整行后立即上传
- 内存优化：buffer 只保留当前块和未完成行，不累积所有分割结果
- 并发控制：支持 3 个并发上传，提升效率
- 进度可见：实时显示已上传行数和总体进度
- 错误处理：单个文件上传失败不影响其他文件
- 向后兼容：小文件仍使用原有分割方式
优势：
- 大文件上传不再卡顿，用户体验大幅提升
- 内存占用显著降低（从加载整个文件到只保留当前块）
- 上传效率提升（边分割边上传，并发上传多个小文件）
相关文件：
- frontend/src/utils/file.util.ts
- frontend/src/pages/DataManagement/Detail/components/ImportConfiguration.tsx
- frontend/src/hooks/useSliceUpload.tsx
- frontend/src/pages/Layout/TaskUpload.tsx
- frontend/src/pages/DataManagement/dataset.model.ts
|
2026-02-03 13:12:10 +00:00 |
|
Kecheng Sha
|
0df7a872e4
|
Revert "feat: fix the problem in the Operator Market frontend pages"
|
2025-12-29 12:00:37 +08:00 |
|
root
|
844add27ea
|
feat: fix the problem in the Operator Market frontend pages
|
2025-12-29 11:38:47 +08:00 |
|
Dallas98
|
1c97afed7d
|
init datamate
|
2025-10-21 23:00:48 +08:00 |
|
