Files
DataMate/README-zh.md
Jason Wang c097a06fbe feat: Improve makefile readability, Add user control on volume keep at uninstallation, Add Label Studio install and uninstall via Make. (#106)
* feature: Add label studio installation and uninstallation commands to Makefile

* feature: Enhance Makefile with detailed help commands and improve install/uninstall targets for services

* feature: Update Makefile help commands to clarify usage of local images

* feature: Improve error handling in Makefile for build, install, and uninstall targets

* feature: Enhance uninstall process in Makefile to prompt for volume deletion and update README with usage details

---------

Co-authored-by: Jason Wang <wjl_jason@qq.com>
2025-11-25 17:37:28 +08:00

3.4 KiB

DataMate 一站式数据工作平台

Backend CI Frontend CI GitHub Stars GitHub Forks GitHub Issues GitHub License

DataMate是面向模型微调与RAG检索的企业级数据处理平台,支持数据归集、数据管理、算子市场、数据清洗、数据合成、数据标注、数据评估、知识生成等核心功能。

简体中文 | English

如果您喜欢这个项目,希望您能给我们一个Star️!

🌟 核心特性

  • 核心模块:数据归集、数据管理、算子市场、数据清洗、数据合成、数据标注、数据评估、知识生成
  • 可视化编排:拖拽式数据处理流程设计
  • 算子生态:丰富的内置算子和自定义算子支持

🚀 快速开始

前置条件

  • Git (用于拉取源码)
  • Make (用于构建和安装)
  • Docker (用于构建镜像和部署服务)
  • Docker-Compose (用于部署服务-docker方式)
  • kubernetes (用于部署服务-k8s方式)
  • Helm (用于部署服务-k8s方式)

本项目支持docker-compose和helm两种方式部署,请在执行命令后输入部署方式的对应编号,命令回显如下所示:

Choose a deployment method:
1. Docker/Docker-Compose
2. Kubernetes/Helm
Enter choice:

在运行 make uninstall 时,卸载流程会只询问一次是否删除卷(数据),该选择会应用到所有组件。卸载顺序为:milvus -> label-studio -> datamate,确保在移除 datamate 网络前,所有使用该网络的服务已先停止。

拉取代码

git clone git@github.com:ModelEngine-Group/DataMate.git
cd DataMate

部署基础服务

make install

要查看所有可用的 Make 目标、选项和帮助信息,请运行:

make help

构建并部署Mineru增强pdf处理

make build-mineru
make install-mineru

部署DeerFlow服务

  1. 修改runtime/deer-flow/.env.example,添加SEARCH_API_KEY和EMBEDDING模型配置
  2. 修改runtime/deer-flow/.conf.yaml.example,添加基础模型服务配置
  3. 执行make install-deer-flow

本地开发部署

本地代码修改后,请执行以下命令构建镜像并使用本地镜像部署

make build
make install REGISTRY=""

🤝 贡献指南

感谢您对本项目的关注!我们非常欢迎社区的贡献,无论是提交 Bug 报告、提出功能建议,还是直接参与代码开发,都能帮助项目变得更好。

📮 GitHub Issues:提交 Bug 或功能建议。

🔧 GitHub Pull Requests:贡献代码改进。

📄 许可证

DataMate 基于 MIT 开源,您可以在遵守许可证条款的前提下自由使用、修改和分发本项目的代码。