You've already forked DataMate
feature:增加数据配比功能 (#52)
* refactor: 修改调整数据归集实现,删除无用代码,优化代码结构 * feature: 每天凌晨00:00扫描所有数据集,检查数据集是否超过了预设的保留天数,超出保留天数的数据集调用删除接口进行删除 * fix: 修改删除数据集文件的逻辑,上传到数据集中的文件会同时删除数据库中的记录和文件系统中的文件,归集过来的文件仅删除数据库中的记录 * fix: 增加参数校验和接口定义,删除不使用的接口 * fix: 数据集统计数据默认为0 * feature: 数据集状态增加流转,创建时为草稿状态,上传文件或者归集文件后修改为活动状态 * refactor: 修改分页查询归集任务的代码 * fix: 更新后重新执行;归集任务执行增加事务控制 * feature: 创建归集任务时能够同步创建数据集,更新归集任务时能更新到指定数据集 * fix: 创建归集任务不需要创建数据集时不应该报错 * fix: 修复删除文件时数据集的统计数据不变动 * feature: 查询数据集详情时能够获取到文件标签分布 * fix: tags为空时不进行分析 * fix: 状态修改为ACTIVE * fix: 修改解析tag的方法 * feature: 实现创建、分页查询、删除配比任务 * feature: 实现创建、分页查询、删除配比任务的前端交互 * fix: 修复进度计算异常导致的页面报错
This commit is contained in:
32
scripts/db/data-ratio-init.sql
Normal file
32
scripts/db/data-ratio-init.sql
Normal file
@@ -0,0 +1,32 @@
|
||||
USE datamate;
|
||||
|
||||
CREATE TABLE IF NOT EXISTS t_st_ratio_instances
|
||||
(
|
||||
id varchar(64) primary key COMMENT 'UUID',
|
||||
name varchar(64) COMMENT '名称',
|
||||
description TEXT COMMENT '描述',
|
||||
target_dataset_id varchar(64) COMMENT '模板数据集ID',
|
||||
ratio_method varchar(50) COMMENT '配比方式,按标签(TAG),按数据集(DATASET)',
|
||||
ratio_parameters JSON COMMENT '配比参数',
|
||||
merge_method varchar(50) COMMENT '合并方式',
|
||||
status varchar(20) COMMENT '状态',
|
||||
totals BIGINT COMMENT '总数',
|
||||
created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
|
||||
updated_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
|
||||
created_by VARCHAR(255) COMMENT '创建者',
|
||||
updated_by VARCHAR(255) COMMENT '更新者'
|
||||
) COMMENT='配比实例表(UUID 主键)';
|
||||
|
||||
CREATE TABLE IF NOT EXISTS t_st_ratio_relations
|
||||
(
|
||||
id varchar(64) primary key COMMENT 'UUID',
|
||||
ratio_instance_id varchar(64) COMMENT '配比实例ID',
|
||||
source_dataset_id varchar(64) COMMENT '源数据集ID',
|
||||
ratio_value varchar(256),
|
||||
counts BIGINT COMMENT '条数',
|
||||
filter_conditions text COMMENT '过滤条件',
|
||||
created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
|
||||
updated_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
|
||||
created_by VARCHAR(255) COMMENT '创建者',
|
||||
updated_by VARCHAR(255) COMMENT '更新者'
|
||||
) COMMENT='配比关系表(UUID 主键)';
|
||||
Reference in New Issue
Block a user