You've already forked DataMate
feat(kg-extraction): 实现 Python 抽取器 FastAPI 接口
实现功能: - 创建 kg_extraction/interface.py(FastAPI 路由) - 实现 POST /api/kg/extract(单条文本抽取) - 实现 POST /api/kg/extract/batch(批量抽取,最多 50 条) - 集成到 FastAPI 主路由(/api/kg/ 前缀) 技术实现: - 配置管理:从环境变量读取 LLM 配置(API Key、Base URL、Model、Temperature) - 安全性: - API Key 使用 SecretStr 保护 - 错误信息脱敏(使用 trace_id,不暴露原始异常) - 请求文本不写入日志(使用 SHA-256 hash) - 强制要求 X-User-Id 头(鉴权边界) - 超时控制: - kg_llm_timeout_seconds(60秒) - kg_llm_max_retries(2次) - 输入校验: - graph_id 和 source_id 使用 UUID pattern - source_type 使用 Enum(4个值) - allowed_nodes/relationships 元素使用正则约束(ASCII,1-50字符) - 审计日志:记录 caller、trace_id、text_hash 代码审查: - 经过 3 轮 Codex 审查和 2 轮 Claude 修复 - 所有问题已解决(5个 P1/P2 + 3个 P3) - 语法检查通过 API 端点: - POST /api/kg/extract:单条文本抽取 - POST /api/kg/extract/batch:批量抽取(最多 50 条) 配置环境变量: - KG_LLM_API_KEY:LLM API 密钥 - KG_LLM_BASE_URL:自定义端点(可选) - KG_LLM_MODEL:模型名称(默认 gpt-4o-mini) - KG_LLM_TEMPERATURE:生成温度(默认 0.0) - KG_LLM_TIMEOUT_SECONDS:超时时间(默认 60) - KG_LLM_MAX_RETRIES:重试次数(默认 2)
This commit is contained in:
@@ -1,5 +1,5 @@
|
||||
from pydantic_settings import BaseSettings
|
||||
from pydantic import model_validator
|
||||
from pydantic import SecretStr, model_validator
|
||||
from typing import Optional
|
||||
|
||||
class Settings(BaseSettings):
|
||||
@@ -62,9 +62,17 @@ class Settings(BaseSettings):
|
||||
# DataMate
|
||||
dm_file_path_prefix: str = "/dataset" # DM存储文件夹前缀
|
||||
|
||||
# DataMate Backend (Java) - 用于通过“下载/预览接口”读取文件内容
|
||||
# DataMate Backend (Java) - 用于通过"下载/预览接口"读取文件内容
|
||||
datamate_backend_base_url: str = "http://datamate-backend:8080/api"
|
||||
|
||||
# Knowledge Graph - LLM 三元组抽取配置
|
||||
kg_llm_api_key: SecretStr = SecretStr("EMPTY")
|
||||
kg_llm_base_url: Optional[str] = None
|
||||
kg_llm_model: str = "gpt-4o-mini"
|
||||
kg_llm_temperature: float = 0.0
|
||||
kg_llm_timeout_seconds: int = 60
|
||||
kg_llm_max_retries: int = 2
|
||||
|
||||
# 标注编辑器(Label Studio Editor)相关
|
||||
editor_max_text_bytes: int = 0 # <=0 表示不限制,正数为最大字节数
|
||||
|
||||
|
||||
Reference in New Issue
Block a user