You've already forked DataMate
docs(memory): 将 DataMate 项目工作日志移至每日记忆
- 从 MEMORY.md 中移除 DataMate 项目的详细工作日志 - 在 MEMORY.md 中只保留简要的项目信息和位置 - 将所有详细信息(提交记录、待办事项等)移至 memory/2026-02-03.md - 保持 MEMORY.md 作为长期持久的重要信息存储 - 每日记忆文件包含当天的工作日志
This commit is contained in:
79
MEMORY.md
79
MEMORY.md
@@ -130,44 +130,11 @@ HTML/CSS, React, Vue, Node.js, 前端框架
|
||||
|
||||
### DataMate 项目
|
||||
**状态**:活跃项目,持续优化中
|
||||
**位置**:`/root/.openclaw/workspace/Code/DataMate/`
|
||||
**Git 分支**:`lsf`
|
||||
**技术栈**:Spring Boot + React + FastAPI + MySQL
|
||||
|
||||
#### 已完成功能
|
||||
|
||||
**1. 修复:编辑数据集时无法清除关联数据集**
|
||||
- **问题**:MyBatis-Plus `updateById` 忽略 `null` 值
|
||||
- **解决方案**:使用 `LambdaUpdateWrapper` 显式更新 `parentDatasetId` 字段
|
||||
- **提交**:699031d
|
||||
- **状态**:✅ 已完成并测试通过
|
||||
|
||||
**2. 优化:上传文件后任务中心立即显示**
|
||||
- **问题**:`show:task-popover` 事件被 `preUpload` API 调用阻塞
|
||||
- **解决方案**:在 `createTask` 函数中立即触发事件,不等待 API 完成
|
||||
- **目标文件**:`frontend/src/hooks/useSliceUpload.tsx`
|
||||
- **提交**:893e0a1
|
||||
- **状态**:✅ 已完成
|
||||
|
||||
**3. 功能:实现文本切片预生成**
|
||||
- **问题**:每次进入标注页面都实时计算切片,大文件性能差
|
||||
- **解决方案**:创建标注任务时预生成切片并存储到 `AnnotationResult` 表
|
||||
- **涉及的文件**:
|
||||
- `runtime/datamate-python/app/module/annotation/service/editor.py` - 新增 `precompute_segmentation_for_project` 方法
|
||||
- `runtime/datamate-python/app/module/annotation/interface/project.py` - 任务创建时触发预计算
|
||||
- **提交**:147beb1
|
||||
- **状态**:✅ 已完成,待测试验证
|
||||
|
||||
**4. 功能:实现流式分割上传,优化大文件上传体验**
|
||||
- **问题**:大文件按行分割时一次性加载到内存导致前端卡顿
|
||||
- **解决方案**:实现边分割边上传的流式处理
|
||||
- **涉及的文件**:
|
||||
- `frontend/src/utils/file.util.ts` - 流式分割上传核心功能
|
||||
- `frontend/src/pages/DataManagement/Detail/components/ImportConfiguration.tsx` - 智能上传策略
|
||||
- `frontend/src/hooks/useSliceUpload.tsx` - 流式上传处理
|
||||
- `frontend/src/pages/Layout/TaskUpload.tsx` - 进度显示
|
||||
- `frontend/src/pages/DataManagement/dataset.model.ts` - 类型定义
|
||||
- **提交**:c8611d2
|
||||
- **状态**:✅ 已完成,待测试验证
|
||||
|
||||
#### 工作目录结构
|
||||
**工作目录结构**:
|
||||
```
|
||||
Code/DataMate/
|
||||
├── backend/ # Java 后端(Spring Boot + MyBatis-Plus)
|
||||
@@ -177,6 +144,8 @@ Code/DataMate/
|
||||
└── deployment/ # 部署配置
|
||||
```
|
||||
|
||||
> **注意**:详细的工作日志、提交记录、待办事项请查看每日记忆文件(如 `memory/2026-02-03.md`)
|
||||
|
||||
---
|
||||
|
||||
## 🔧 重要配置与操作
|
||||
@@ -217,49 +186,25 @@ Code/DataMate/
|
||||
|
||||
## 🔄 待办事项
|
||||
|
||||
### DataMate 项目
|
||||
1. [ ] 测试文本切片预生成功能
|
||||
- 创建标注任务,勾选"需要切片段"
|
||||
- 验证切片数据是否正确写入数据库
|
||||
- 确认标注页面使用预生成的切片
|
||||
2. [ ] 测试流式分割上传功能
|
||||
- 上传大文本文件(>5MB),勾选"按分行分割"
|
||||
- 验证边分割边上传的流式处理
|
||||
- 确认内存占用优化效果
|
||||
3. [ ] 根据测试结果修复可能存在的问题
|
||||
4. [ ] 提交最终代码到远程仓库(已推送至 lsf 分支)
|
||||
|
||||
### 系统配置
|
||||
- [ ] 根据需要调整 memory embeddings 配置
|
||||
- [ ] 考虑配置 Node 以增强某些功能
|
||||
- [ ] 监控每日代码测试检查定时任务的运行情况
|
||||
|
||||
> **注意**:DataMate 项目的具体待办事项请查看每日记忆文件(如 `memory/2026-02-03.md`)
|
||||
|
||||
---
|
||||
|
||||
## 📅 更新记录
|
||||
|
||||
### 2026-02-03(上午)
|
||||
### 2026-02-03
|
||||
- 创建全局记忆文件 `MEMORY.md`
|
||||
- 配置 AiHubMix embeddings(后又移除)
|
||||
- 配置使用本地 embeddings 模型
|
||||
- 安装 pipx
|
||||
- 安装并卸载 sqlite-vec
|
||||
- 更新 OpenClaw 到 2026.2.1
|
||||
- 启用 elevated tools
|
||||
- 更新 Telegram 群组配置(DataMate-Claw Coding)
|
||||
|
||||
### 2026-02-03(下午)
|
||||
- **DataMate 项目优化**:
|
||||
- 修复编辑数据集时无法清除关联数据集的问题(提交 699031d)
|
||||
- 优化上传文件后任务中心立即显示(提交 893e0a1)
|
||||
- 实现文本切片预生成功能,提升标注性能(提交 147beb1)
|
||||
- 实现流式分割上传,优化大文件上传体验(提交 c8611d2)
|
||||
- **系统配置**:
|
||||
- 创建每日代码测试检查脚本 `scripts/check_yesterdays_changes.py`
|
||||
- 配置 cron 定时任务,每天北京时间上午10点自动检查昨天修改的代码
|
||||
- 更新 `SOUL.md` 和 `HEARTBEAT.md`,配置自动任务响应逻辑
|
||||
- 测试报告发送到当前 Telegram 群组(-1003879848304)
|
||||
- 更新 Telegram 群组配置
|
||||
- 配置每日代码测试检查定时任务
|
||||
|
||||
---
|
||||
|
||||
**最后更新**:2026-02-03(下午)
|
||||
**最后更新**:2026-02-03
|
||||
|
||||
Reference in New Issue
Block a user