You've already forked DataMate
08bd4eca5c
* refactor: 修改调整数据归集实现，删除无用代码，优化代码结构 * feature: 每天凌晨00：00扫描所有数据集，检查数据集是否超过了预设的保留天数，超出保留天数的数据集调用删除接口进行删除 * fix: 修改删除数据集文件的逻辑，上传到数据集中的文件会同时删除数据库中的记录和文件系统中的文件，归集过来的文件仅删除数据库中的记录 * fix: 增加参数校验和接口定义，删除不使用的接口 * fix: 数据集统计数据默认为0 * feature: 数据集状态增加流转，创建时为草稿状态，上传文件或者归集文件后修改为活动状态 * refactor: 修改分页查询归集任务的代码 * fix: 更新后重新执行；归集任务执行增加事务控制 * feature: 创建归集任务时能够同步创建数据集，更新归集任务时能更新到指定数据集 * fix: 创建归集任务不需要创建数据集时不应该报错 * fix: 修复删除文件时数据集的统计数据不变动 * feature: 查询数据集详情时能够获取到文件标签分布 * fix: tags为空时不进行分析 * fix: 状态修改为ACTIVE * fix: 修改解析tag的方法 * feature: 实现创建、分页查询、删除配比任务 * feature: 实现创建、分页查询、删除配比任务的前端交互 * fix: 修复进度计算异常导致的页面报错
72 lines
3.3 KiB
Python
72 lines
3.3 KiB
Python
"""
|
|
Tables for Ratio (Data Synthesis Ratio) module
|
|
|
|
Derived from scripts/db/data-ratio-init.sql
|
|
- t_st_ratio_instances
|
|
- t_st_ratio_relations
|
|
"""
|
|
|
|
import uuid
|
|
from sqlalchemy import Column, String, Text, BigInteger, TIMESTAMP, JSON, ForeignKey
|
|
from sqlalchemy.orm import relationship
|
|
from sqlalchemy.sql import func
|
|
|
|
from app.db.session import Base
|
|
|
|
|
|
class RatioInstance(Base):
|
|
"""配比实例表（UUID 主键） -> t_st_ratio_instances
|
|
|
|
Columns per data-ratio-init.sql:
|
|
id, name, description, target_dataset_id, ratio_method, ratio_parameters,
|
|
merge_method, status, totals, created_at, updated_at, created_by, updated_by
|
|
"""
|
|
|
|
__tablename__ = "t_st_ratio_instances"
|
|
|
|
id = Column(String(64), primary_key=True, default=lambda: str(uuid.uuid4()), comment="UUID")
|
|
name = Column(String(64), nullable=True, comment="名称")
|
|
description = Column(Text, nullable=True, comment="描述")
|
|
target_dataset_id = Column(String(64), nullable=True, comment="模板数据集ID")
|
|
ratio_method = Column(String(50), nullable=True, comment="配比方式，按标签（TAG）,按数据集（DATASET）")
|
|
ratio_parameters = Column(JSON, nullable=True, comment="配比参数")
|
|
merge_method = Column(String(50), nullable=True, comment="合并方式")
|
|
status = Column(String(20), nullable=True, comment="状态")
|
|
totals = Column(BigInteger, nullable=True, comment="总数")
|
|
created_at = Column(TIMESTAMP, server_default=func.current_timestamp(), comment="创建时间")
|
|
updated_at = Column( TIMESTAMP, server_default=func.current_timestamp(), onupdate=func.current_timestamp(), comment="更新时间")
|
|
created_by = Column(String(255), nullable=True, comment="创建者")
|
|
updated_by = Column(String(255), nullable=True, comment="更新者")
|
|
|
|
def __repr__(self) -> str:
|
|
return f"<RatioInstance(id={self.id}, name={self.name}, method={self.ratio_method}, status={self.status})>"
|
|
|
|
|
|
class RatioRelation(Base):
|
|
"""配比关系表（UUID 主键） -> t_st_ratio_relations
|
|
|
|
Columns per data-ratio-init.sql:
|
|
id, ratio_instance_id, source_dataset_id, ratio_value, counts, filter_conditions,
|
|
created_at, updated_at, created_by, updated_by
|
|
"""
|
|
|
|
__tablename__ = "t_st_ratio_relations"
|
|
|
|
id = Column(String(64), primary_key=True, default=lambda: str(uuid.uuid4()), comment="UUID")
|
|
ratio_instance_id = Column(String(64), nullable=False, comment="配比实例ID")
|
|
source_dataset_id = Column(String(64), nullable=True, comment="源数据集ID")
|
|
ratio_value = Column(String(256), nullable=True)
|
|
counts = Column(BigInteger, nullable=True, comment="条数")
|
|
filter_conditions = Column(Text, nullable=True, comment="过滤条件")
|
|
created_at = Column(TIMESTAMP, server_default=func.current_timestamp(), comment="创建时间")
|
|
updated_at = Column(TIMESTAMP, server_default=func.current_timestamp(), onupdate=func.current_timestamp(), comment="更新时间")
|
|
created_by = Column(String(255), nullable=True, comment="创建者")
|
|
updated_by = Column(String(255), nullable=True, comment="更新者")
|
|
|
|
def __repr__(self) -> str:
|
|
return (
|
|
f"<RatioRelation(id={self.id}, ratio_instance_id={self.ratio_instance_id}, "
|
|
f"source_dataset_id={self.source_dataset_id}, counts={self.counts})>"
|
|
)
|
|
|