You've already forked DataMate
docs(memory): 将 DataMate 项目工作日志移至每日记忆
- 从 MEMORY.md 中移除 DataMate 项目的详细工作日志 - 在 MEMORY.md 中只保留简要的项目信息和位置 - 将所有详细信息（提交记录、待办事项等）移至 memory/2026-02-03.md - 保持 MEMORY.md 作为长期持久的重要信息存储 - 每日记忆文件包含当天的工作日志
This commit is contained in:
79
MEMORY.md
79
MEMORY.md
@@ -130,44 +130,11 @@ HTML/CSS, React, Vue, Node.js, 前端框架
|
|||||||
|
|
||||||
### DataMate 项目
|
### DataMate 项目
|
||||||
**状态**：活跃项目，持续优化中
|
**状态**：活跃项目，持续优化中
|
||||||
|
**位置**：`/root/.openclaw/workspace/Code/DataMate/`
|
||||||
|
**Git 分支**：`lsf`
|
||||||
|
**技术栈**：Spring Boot + React + FastAPI + MySQL
|
||||||
|
|
||||||
#### 已完成功能
|
**工作目录结构**：
|
||||||
|
|
||||||
**1. 修复：编辑数据集时无法清除关联数据集**
|
|
||||||
- **问题**：MyBatis-Plus `updateById` 忽略 `null` 值
|
|
||||||
- **解决方案**：使用 `LambdaUpdateWrapper` 显式更新 `parentDatasetId` 字段
|
|
||||||
- **提交**：699031d
|
|
||||||
- **状态**：✅ 已完成并测试通过
|
|
||||||
|
|
||||||
**2. 优化：上传文件后任务中心立即显示**
|
|
||||||
- **问题**：`show:task-popover` 事件被 `preUpload` API 调用阻塞
|
|
||||||
- **解决方案**：在 `createTask` 函数中立即触发事件，不等待 API 完成
|
|
||||||
- **目标文件**：`frontend/src/hooks/useSliceUpload.tsx`
|
|
||||||
- **提交**：893e0a1
|
|
||||||
- **状态**：✅ 已完成
|
|
||||||
|
|
||||||
**3. 功能：实现文本切片预生成**
|
|
||||||
- **问题**：每次进入标注页面都实时计算切片，大文件性能差
|
|
||||||
- **解决方案**：创建标注任务时预生成切片并存储到 `AnnotationResult` 表
|
|
||||||
- **涉及的文件**：
|
|
||||||
- `runtime/datamate-python/app/module/annotation/service/editor.py` - 新增 `precompute_segmentation_for_project` 方法
|
|
||||||
- `runtime/datamate-python/app/module/annotation/interface/project.py` - 任务创建时触发预计算
|
|
||||||
- **提交**：147beb1
|
|
||||||
- **状态**：✅ 已完成，待测试验证
|
|
||||||
|
|
||||||
**4. 功能：实现流式分割上传，优化大文件上传体验**
|
|
||||||
- **问题**：大文件按行分割时一次性加载到内存导致前端卡顿
|
|
||||||
- **解决方案**：实现边分割边上传的流式处理
|
|
||||||
- **涉及的文件**：
|
|
||||||
- `frontend/src/utils/file.util.ts` - 流式分割上传核心功能
|
|
||||||
- `frontend/src/pages/DataManagement/Detail/components/ImportConfiguration.tsx` - 智能上传策略
|
|
||||||
- `frontend/src/hooks/useSliceUpload.tsx` - 流式上传处理
|
|
||||||
- `frontend/src/pages/Layout/TaskUpload.tsx` - 进度显示
|
|
||||||
- `frontend/src/pages/DataManagement/dataset.model.ts` - 类型定义
|
|
||||||
- **提交**：c8611d2
|
|
||||||
- **状态**：✅ 已完成，待测试验证
|
|
||||||
|
|
||||||
#### 工作目录结构
|
|
||||||
```
|
```
|
||||||
Code/DataMate/
|
Code/DataMate/
|
||||||
├── backend/ # Java 后端（Spring Boot + MyBatis-Plus）
|
├── backend/ # Java 后端（Spring Boot + MyBatis-Plus）
|
||||||
@@ -177,6 +144,8 @@ Code/DataMate/
|
|||||||
└── deployment/ # 部署配置
|
└── deployment/ # 部署配置
|
||||||
```
|
```
|
||||||
|
|
||||||
|
> **注意**：详细的工作日志、提交记录、待办事项请查看每日记忆文件（如 `memory/2026-02-03.md`）
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 🔧 重要配置与操作
|
## 🔧 重要配置与操作
|
||||||
@@ -217,49 +186,25 @@ Code/DataMate/
|
|||||||
|
|
||||||
## 🔄 待办事项
|
## 🔄 待办事项
|
||||||
|
|
||||||
### DataMate 项目
|
|
||||||
1. [ ] 测试文本切片预生成功能
|
|
||||||
- 创建标注任务，勾选"需要切片段"
|
|
||||||
- 验证切片数据是否正确写入数据库
|
|
||||||
- 确认标注页面使用预生成的切片
|
|
||||||
2. [ ] 测试流式分割上传功能
|
|
||||||
- 上传大文本文件（>5MB），勾选"按分行分割"
|
|
||||||
- 验证边分割边上传的流式处理
|
|
||||||
- 确认内存占用优化效果
|
|
||||||
3. [ ] 根据测试结果修复可能存在的问题
|
|
||||||
4. [ ] 提交最终代码到远程仓库（已推送至 lsf 分支）
|
|
||||||
|
|
||||||
### 系统配置
|
### 系统配置
|
||||||
- [ ] 根据需要调整 memory embeddings 配置
|
- [ ] 根据需要调整 memory embeddings 配置
|
||||||
- [ ] 考虑配置 Node 以增强某些功能
|
- [ ] 考虑配置 Node 以增强某些功能
|
||||||
- [ ] 监控每日代码测试检查定时任务的运行情况
|
|
||||||
|
> **注意**：DataMate 项目的具体待办事项请查看每日记忆文件（如 `memory/2026-02-03.md`）
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 📅 更新记录
|
## 📅 更新记录
|
||||||
|
|
||||||
### 2026-02-03（上午）
|
### 2026-02-03
|
||||||
- 创建全局记忆文件 `MEMORY.md`
|
- 创建全局记忆文件 `MEMORY.md`
|
||||||
- 配置 AiHubMix embeddings（后又移除）
|
|
||||||
- 配置使用本地 embeddings 模型
|
- 配置使用本地 embeddings 模型
|
||||||
- 安装 pipx
|
- 安装 pipx
|
||||||
- 安装并卸载 sqlite-vec
|
|
||||||
- 更新 OpenClaw 到 2026.2.1
|
- 更新 OpenClaw 到 2026.2.1
|
||||||
- 启用 elevated tools
|
- 启用 elevated tools
|
||||||
- 更新 Telegram 群组配置（DataMate-Claw Coding）
|
- 更新 Telegram 群组配置
|
||||||
|
- 配置每日代码测试检查定时任务
|
||||||
### 2026-02-03（下午）
|
|
||||||
- **DataMate 项目优化**：
|
|
||||||
- 修复编辑数据集时无法清除关联数据集的问题（提交 699031d）
|
|
||||||
- 优化上传文件后任务中心立即显示（提交 893e0a1）
|
|
||||||
- 实现文本切片预生成功能，提升标注性能（提交 147beb1）
|
|
||||||
- 实现流式分割上传，优化大文件上传体验（提交 c8611d2）
|
|
||||||
- **系统配置**：
|
|
||||||
- 创建每日代码测试检查脚本 `scripts/check_yesterdays_changes.py`
|
|
||||||
- 配置 cron 定时任务，每天北京时间上午10点自动检查昨天修改的代码
|
|
||||||
- 更新 `SOUL.md` 和 `HEARTBEAT.md`，配置自动任务响应逻辑
|
|
||||||
- 测试报告发送到当前 Telegram 群组（-1003879848304）
|
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
**最后更新**：2026-02-03（下午）
|
**最后更新**：2026-02-03
|
||||||
|
|||||||
@@ -29,46 +29,94 @@
|
|||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
### 已完成的工作
|
## 已完成的工作
|
||||||
|
|
||||||
#### 上午（约 12:00 - 15:00 UTC）
|
### 上午（约 12:00 - 15:00 UTC）
|
||||||
1. **系统配置**
|
|
||||||
- ✅ 更新 OpenClaw 到2026.2.1
|
|
||||||
- ✅ 配置使用本地 embeddings
|
|
||||||
- ✅ 安装 pipx
|
|
||||||
|
|
||||||
2. **记忆系统**
|
#### 1. 系统配置
|
||||||
- ✅ 配置 Memory 搜索功能
|
- ✅ 更新 OpenClaw 到 2026.2.1
|
||||||
- ✅ 验证 memory_get 工具正常工作
|
- ✅ 配置使用本地 embeddings
|
||||||
- ✅ 验证 memory_search 工具正常工作
|
- ✅ 安装 pipx
|
||||||
- ✅ 创建全局记忆文件 MEMORY.md
|
- ✅ 启用 elevated tools
|
||||||
|
|
||||||
3. **信息整理**
|
#### 2. 记忆系统
|
||||||
- ✅ 读取所有 memory 文件
|
- ✅ 配置 Memory 搜索功能
|
||||||
- ✅ 总结用户信息、系统配置、可用工具
|
- ✅ 验证 memory_get 工具正常工作
|
||||||
- ✅ 记录 DataMate 项目信息
|
- ✅ 验证 memory_search 工具正常工作
|
||||||
|
- ✅ 创建全局记忆文件 MEMORY.md
|
||||||
|
|
||||||
#### 下午（约 15:00 - 20:00 UTC）
|
#### 3. 信息整理
|
||||||
1. **DataMate 项目优化（4 个提交）**
|
- ✅ 读取所有 memory 文件
|
||||||
- ✅ 修复编辑数据集时无法清除关联数据集（699031d）
|
- ✅ 总结用户信息、系统配置、可用工具
|
||||||
- ✅ 优化上传文件后任务中心立即显示（893e0a1）
|
- ✅ 记录 DataMate 项目信息
|
||||||
- ✅ 实现文本切片预生成功能（147beb1）
|
|
||||||
- ✅ 实现流式分割上传，优化大文件上传体验（c8611d2）
|
|
||||||
|
|
||||||
2. **系统配置**
|
|
||||||
- ✅ 创建每日代码测试检查脚本 `scripts/check_yesterdays_changes.py`
|
|
||||||
- ✅ 配置 cron 定时任务，每天北京时间上午10点自动检查
|
|
||||||
- ✅ 更新 SOUL.md 和 HEARTBEAT.md，配置自动任务响应逻辑
|
|
||||||
|
|
||||||
3. **记忆更新**
|
|
||||||
- ✅ 更新 MEMORY.md，修正 DataMate 项目状态
|
|
||||||
- ✅ 检查并修正记忆中的描述不符信息
|
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
### 待办事项
|
### 下午（约 15:00 - 20:00 UTC）
|
||||||
|
|
||||||
**DataMate 项目：**
|
#### 1. DataMate 项目优化（4 个提交）
|
||||||
|
|
||||||
|
##### 1.1 修复：编辑数据集时无法清除关联数据集
|
||||||
|
- **问题**：MyBatis-Plus `updateById` 忽略 `null` 值
|
||||||
|
- **解决方案**：使用 `LambdaUpdateWrapper` 显式更新 `parentDatasetId` 字段
|
||||||
|
- **提交**：699031d
|
||||||
|
- **状态**：✅ 已完成并测试通过
|
||||||
|
|
||||||
|
##### 1.2 优化：上传文件后任务中心立即显示
|
||||||
|
- **问题**：`show:task-popover` 事件被 `preUpload` API 调用阻塞
|
||||||
|
- **解决方案**：在 `createTask` 函数中立即触发事件，不等待 API 完成
|
||||||
|
- **目标文件**：`frontend/src/hooks/useSliceUpload.tsx`
|
||||||
|
- **提交**：893e0a1
|
||||||
|
- **状态**：✅ 已完成
|
||||||
|
|
||||||
|
##### 1.3 功能：实现文本切片预生成
|
||||||
|
- **问题**：每次进入标注页面都实时计算切片，大文件性能差
|
||||||
|
- **解决方案**：创建标注任务时预生成切片并存储到 `AnnotationResult` 表
|
||||||
|
- **涉及的文件**：
|
||||||
|
- `runtime/datamate-python/app/module/annotation/service/editor.py` - 新增 `precompute_segmentation_for_project` 方法
|
||||||
|
- `runtime/datamate-python/app/module/annotation/interface/project.py` - 任务创建时触发预计算
|
||||||
|
- **提交**：147beb1
|
||||||
|
- **状态**：✅ 已完成，待测试验证
|
||||||
|
|
||||||
|
##### 1.4 功能：实现流式分割上传，优化大文件上传体验
|
||||||
|
- **问题**：大文件按行分割时一次性加载到内存导致前端卡顿
|
||||||
|
- **解决方案**：实现边分割边上传的流式处理
|
||||||
|
- **涉及的文件**：
|
||||||
|
- `frontend/src/utils/file.util.ts` - 流式分割上传核心功能
|
||||||
|
- `frontend/src/pages/DataManagement/Detail/components/ImportConfiguration.tsx` - 智能上传策略
|
||||||
|
- `frontend/src/hooks/useSliceUpload.tsx` - 流式上传处理
|
||||||
|
- `frontend/src/pages/Layout/TaskUpload.tsx` - 进度显示
|
||||||
|
- `frontend/src/pages/DataManagement/dataset.model.ts` - 类型定义
|
||||||
|
- **提交**：c8611d2
|
||||||
|
- **状态**：✅ 已完成，待测试验证
|
||||||
|
|
||||||
|
#### 2. 系统配置
|
||||||
|
|
||||||
|
##### 2.1 每日代码测试检查定时任务
|
||||||
|
- **脚本**：`scripts/check_yesterdays_changes.py`
|
||||||
|
- **功能**：
|
||||||
|
- 获取昨天（UTC 时间）的 git 提交记录
|
||||||
|
- 从提交信息中提取测试相关的项目
|
||||||
|
- 生成测试报告
|
||||||
|
- **执行时间**：每天 UTC 2:00（北京时间上午10:00）
|
||||||
|
- **发送目标**：当前 Telegram 群组（-1003879848304）
|
||||||
|
- **状态**：✅ 已配置
|
||||||
|
|
||||||
|
##### 2.2 更新配置文件
|
||||||
|
- ✅ 更新 `SOUL.md`，添加自动任务响应逻辑
|
||||||
|
- ✅ 更新 `HEARTBEAT.md`，添加系统事件处理逻辑
|
||||||
|
- ✅ 配置定时任务通过 cron 工具管理
|
||||||
|
|
||||||
|
#### 3. 记忆更新
|
||||||
|
- ✅ 更新 MEMORY.md，记录系统配置
|
||||||
|
- ✅ 检查并修正记忆中的描述不符信息
|
||||||
|
- ✅ 将 DataMate 项目详细信息移至每日记忆
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 待办事项
|
||||||
|
|
||||||
|
### DataMate 项目
|
||||||
1. [ ] 测试文本切片预生成功能
|
1. [ ] 测试文本切片预生成功能
|
||||||
- 创建标注任务，勾选"需要切片段"
|
- 创建标注任务，勾选"需要切片段"
|
||||||
- 验证切片数据是否正确写入数据库
|
- 验证切片数据是否正确写入数据库
|
||||||
@@ -80,24 +128,30 @@
|
|||||||
3. [ ] 根据测试结果修复可能存在的问题
|
3. [ ] 根据测试结果修复可能存在的问题
|
||||||
4. [ ] 提交最终代码到远程仓库（已推送至 lsf 分支）
|
4. [ ] 提交最终代码到远程仓库（已推送至 lsf 分支）
|
||||||
|
|
||||||
**系统配置：**
|
### 系统配置
|
||||||
- [ ] 监控每日代码测试检查定时任务的运行情况
|
- [ ] 监控每日代码测试检查定时任务的运行情况
|
||||||
- [ ] 根据需要调整 memory embeddings 配置
|
- [ ] 根据需要调整 memory embeddings 配置
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
### 配置快照
|
## 配置快照
|
||||||
|
|
||||||
当前 Memory 配置：
|
### Memory 配置
|
||||||
- **Provider**: Local（本地 embeddings）
|
- **Provider**: Local（本地 embeddings）
|
||||||
- **Model**: `hf:ggml-org/embeddinggemma-300M-GGUF/embeddinggemma-300M-Q8_0.gguf`
|
- **Model**: `hf:ggml-org/embeddinggemma-300M-GGUF/embeddinggemma-300M-Q8_0.gguf`
|
||||||
- **Vector Store**: 已启用
|
- **Vector Store**: 已启用
|
||||||
- **Cache**: 已启用
|
- **Cache**: 已启用
|
||||||
- **Session Memory**: 已启用
|
- **Session Memory**: 已启用
|
||||||
|
|
||||||
|
### Cron 定时任务
|
||||||
|
- **任务名称**：每日代码测试检查
|
||||||
|
- **执行时间**：每天 UTC 2:00（北京时间上午10:00）
|
||||||
|
- **触发方式**：系统事件 → 主会话处理
|
||||||
|
- **报告发送**：Telegram 群组（-1003879848304）
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
### DataMate 项目提交记录
|
## DataMate 项目提交记录
|
||||||
|
|
||||||
| 提交哈希 | 功能描述 | 状态 |
|
| 提交哈希 | 功能描述 | 状态 |
|
||||||
|---------|---------|------|
|
|---------|---------|------|
|
||||||
@@ -105,3 +159,16 @@
|
|||||||
| 893e0a1 | 优化上传文件后任务中心立即显示 | ✅ 已完成 |
|
| 893e0a1 | 优化上传文件后任务中心立即显示 | ✅ 已完成 |
|
||||||
| 147beb1 | 实现文本切片预生成功能 | ✅ 已完成，待测试 |
|
| 147beb1 | 实现文本切片预生成功能 | ✅ 已完成，待测试 |
|
||||||
| c8611d2 | 实现流式分割上传，优化大文件上传体验 | ✅ 已完成，待测试 |
|
| c8611d2 | 实现流式分割上传，优化大文件上传体验 | ✅ 已完成，待测试 |
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## DataMate 项目目录结构
|
||||||
|
|
||||||
|
```
|
||||||
|
Code/DataMate/
|
||||||
|
├── backend/ # Java 后端（Spring Boot + MyBatis-Plus）
|
||||||
|
├── frontend/ # React + TypeScript 前端
|
||||||
|
├── runtime/ # Python 运行时（FastAPI + SQLAlchemy）
|
||||||
|
├── scripts/ # 构建脚本
|
||||||
|
└── deployment/ # 部署配置
|
||||||
|
```
|
||||||
|
|||||||
Reference in New Issue
Block a user