q792602257/DataMate
0
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
67fc8b491b03926711e2707a33b2c4160df6c0e8
DataMate/MEMORY.md
Jerry Yan eb2ad9f199 docs(memory): 更新 DataMate 项目记忆记录 
- 修正 DataMate 项目状态，将4个已完成功能标记为完成
- 添加详细的提交信息和涉及的文件
- 更新待办事项，添加测试任务
- 添加2026-02-03下午的工作记录
2026-02-03 14:31:22 +00:00

8.2 KiB
Raw Blame History

MEMORY.md - 全局记忆

本文件存储长期持久的重要信息，供所有会话继承和使用。

👤 用户信息

  • 姓名：Jerry Yan
  • ID：5155645359
  • 时区：东八区（北京时间，UTC+8）
  • 主要平台：Telegram
    • 私聊：Telegram Bot (OpenClaw)
    • 群组：
      • DataMate-Claw Coding 群 (-1003879848304)：DataMate 项目开发
      • 其他工作群 (-5104596651)：其他工作

💻 系统配置

OpenClaw

  • 版本：2026.2.1
  • 运行环境：Local
  • 工作目录：/root/.openclaw/workspace
  • Gateway 端口：18789

模型配置

  • 主模型：zhipu/glm-4.7
  • 可用模型：
    • zhipu/glm-4.7 (智谱 GLM 4.7) - 主要模型，200K 上下文
    • packy/claude-sonnet-4-5-20250929 (Claude Sonnet 4.5) - 推理模型，204K 上下文

Memory（记忆系统）

  • Provider：Local（本地 embeddings）
  • 模型：hf:ggml-org/embeddinggemma-300M-GGUF/embeddinggemma-300M-Q8_0.gguf
  • 配置：
    • Memory 搜索：已启用
    • 向量存储：已启用
    • 缓存：已启用
    • 会话记忆：已启用（实验性）
    • 同步：会话开始时、搜索时
  • 文件结构：
    • MEMORY.md - 全局长期记忆（本文件）
    • memory/YYYY-MM-DD.md - 每日记忆文件

Git

  • 版本：2.43.0
  • 状态：已安装

其他工具

  • pipx：已安装（用于管理 CLI 工具）
  • sqlite-vec：已卸载（使用 --break-system-packages）

🛠️ 可用工具列表

文件操作

  • ✅ read - 读取文件内容
  • ✅ write - 创建/覆盖文件（自动创建目录）
  • ✅ edit - 精确编辑文件内容
  • ❌ 删除文件 - 使用 write 清空或通过 exec 的 rm

系统命令

  • ✅ exec - 执行 shell 命令（已配置 node host）
  • ✅ process - 管理后台进程

网络

  • ✅ web_search - 网页搜索（Brave API）
  • ✅ web_fetch - 获取网页内容
  • ✅ browser - 控制浏览器

消息与通信

  • ✅ message - 发送消息（Telegram）
  • ✅ sessions_* - 创建/管理子会话、跨会话通信
  • ✅ cron - 定时任务和提醒

记忆

  • ✅ memory_search - 语义搜索记忆内容
  • ✅ memory_get - 读取记忆文件

设备控制

  • ⚠️ nodes - 需要 paired nodes（当前无）
  • ⚠️ canvas - 需要 node 设备
  • ⚠️ camera - 需要 node 设备

其他

  • ✅ tts - 文本转语音
  • ✅ agents_list - 列出可用代理
  • ✅ session_status - 显示会话状态
  • ✅ gateway - 重启、更新配置

🎯 技能与能力

编程语言

Python, JavaScript, Java, C++, Go, Rust, SQL, TypeScript 等

Web 开发

HTML/CSS, React, Vue, Node.js, 前端框架

数据处理

  • 数据分析与可视化
  • 算法设计与实现
  • 数据库查询与优化

DevOps

  • Docker 容器化
  • Git 版本控制
  • CI/CD 流程

内容创作

  • 多语言翻译
  • 文章和文案撰写
  • 内容总结和改写

浏览器控制

  • 打开网页并获取内容
  • 截图查看页面状态
  • 点击、填写表单等交互操作
  • 支持两种模式：
    • chrome：接管已连接的 Chrome 浏览器
    • openclaw：使用独立的隔离浏览器

📂 项目信息

DataMate 项目

状态：活跃项目，持续优化中

已完成功能

1. 修复：编辑数据集时无法清除关联数据集

  • 问题：MyBatis-Plus updateById 忽略 null 值
  • 解决方案：使用 LambdaUpdateWrapper 显式更新 parentDatasetId 字段
  • 提交：699031d
  • 状态：✅ 已完成并测试通过

2. 优化：上传文件后任务中心立即显示

  • 问题：show:task-popover 事件被 preUpload API 调用阻塞
  • 解决方案：在 createTask 函数中立即触发事件，不等待 API 完成
  • 目标文件：frontend/src/hooks/useSliceUpload.tsx
  • 提交：893e0a1
  • 状态：✅ 已完成

3. 功能：实现文本切片预生成

  • 问题：每次进入标注页面都实时计算切片，大文件性能差
  • 解决方案：创建标注任务时预生成切片并存储到 AnnotationResult 表
  • 涉及的文件：
    • runtime/datamate-python/app/module/annotation/service/editor.py - 新增 precompute_segmentation_for_project 方法
    • runtime/datamate-python/app/module/annotation/interface/project.py - 任务创建时触发预计算
  • 提交：147beb1
  • 状态：✅ 已完成，待测试验证

4. 功能：实现流式分割上传，优化大文件上传体验

  • 问题：大文件按行分割时一次性加载到内存导致前端卡顿
  • 解决方案：实现边分割边上传的流式处理
  • 涉及的文件：
    • frontend/src/utils/file.util.ts - 流式分割上传核心功能
    • frontend/src/pages/DataManagement/Detail/components/ImportConfiguration.tsx - 智能上传策略
    • frontend/src/hooks/useSliceUpload.tsx - 流式上传处理
    • frontend/src/pages/Layout/TaskUpload.tsx - 进度显示
    • frontend/src/pages/DataManagement/dataset.model.ts - 类型定义
  • 提交：c8611d2
  • 状态：✅ 已完成，待测试验证

工作目录结构

Code/DataMate/
├── backend/              # Java 后端（Spring Boot + MyBatis-Plus）
├── frontend/             # React + TypeScript 前端
├── runtime/              # Python 运行时（FastAPI + SQLAlchemy）
├── scripts/              # 构建脚本
└── deployment/           # 部署配置

🔧 重要配置与操作

OpenClaw 配置文件

  • 位置：/root/.openclaw/openclaw.json
  • 修改方式：通过 gateway config.get/set 或直接编辑

工作目录

  • 路径：/root/.openclaw/workspace
  • Code 项目：Code/DataMate/
  • Memory 文件：memory/ 和 MEMORY.md

Git 仓库

  • 当前版本：2.43.0
  • 主要用途：代码版本控制

📝 重要决策与偏好

包管理最佳实践

  • ✅ 使用虚拟环境安装 Python 包（python3 -m venv）
  • ✅ 使用 pipx 安装 CLI 工具
  • ⚠️ 避免使用 --break-system-packages 除非必要
  • ⚠️ 优先使用 apt install python3-xxx 而非 pip

Memory 配置偏好

  • ✅ 使用本地 embeddings 模型（隐私、免费）
  • ✅ 已清理 AiHubMix 配置（不再使用）

代码工作流

  • ✅ 提供完整修复方案和代码
  • ✅ 使用 sed 命令进行批量修改
  • ⚠️ 文件操作工具在某些环境下有限制

🔄 待办事项

DataMate 项目

  1. 测试文本切片预生成功能
    • 创建标注任务，勾选"需要切片段"
    • 验证切片数据是否正确写入数据库
    • 确认标注页面使用预生成的切片
  2. 测试流式分割上传功能
    • 上传大文本文件（>5MB），勾选"按分行分割"
    • 验证边分割边上传的流式处理
    • 确认内存占用优化效果
  3. 根据测试结果修复可能存在的问题
  4. 提交最终代码到远程仓库（已推送至 lsf 分支）

系统配置

  • 根据需要调整 memory embeddings 配置
  • 考虑配置 Node 以增强某些功能
  • 监控每日代码测试检查定时任务的运行情况

📅 更新记录

2026-02-03（上午）

  • 创建全局记忆文件 MEMORY.md
  • 配置 AiHubMix embeddings（后又移除）
  • 配置使用本地 embeddings 模型
  • 安装 pipx
  • 安装并卸载 sqlite-vec
  • 更新 OpenClaw 到 2026.2.1
  • 启用 elevated tools
  • 更新 Telegram 群组配置（DataMate-Claw Coding）

2026-02-03（下午）

  • DataMate 项目优化：
    • 修复编辑数据集时无法清除关联数据集的问题（提交 699031d）
    • 优化上传文件后任务中心立即显示（提交 893e0a1）
    • 实现文本切片预生成功能，提升标注性能（提交 147beb1）
    • 实现流式分割上传，优化大文件上传体验（提交 c8611d2）
  • 系统配置：
    • 创建每日代码测试检查脚本 scripts/check_yesterdays_changes.py
    • 配置 cron 定时任务，每天北京时间上午10点自动检查昨天修改的代码
    • 更新 SOUL.md 和 HEARTBEAT.md，配置自动任务响应逻辑
    • 测试报告发送到当前 Telegram 群组（-1003879848304）

最后更新：2026-02-03（下午）