拆分抓取与交易服务
把需要账号登录态的链路从抓取服务里拆出成独立进程。分界线不是「要不要登录」, 而是抓取无状态、幂等、可多开实例,而交易的写操作不可逆、登录态全局唯一、 订单监控是常驻轮询——同进程时抓取一扩容就会复制出 N 份登录态与 N 个轮询, 同一账号会被并发操作。 - app/shared:配置、错误码、日志、ApiResponse 信封 + Bearer 鉴权 + 异常处理器、 导航请求头构造器 - app/scraping:站点常量、会话、解析器与 10 个抓取接口,:31107,可多开 - app/trading:登录态查询/重载与健康检查,:31108,只能单实例 - 依赖方向锁为 scraping→shared、trading→shared,两侧互不 import; tests/test_architecture.py 用 AST 检查 import 并校验两个 app 的路径不串 - 登录态 UA 在 trading 独立持有:与抓取 UA 值相同但变更理由不同,抓取 UA 为绕 反爬可随时调整,登录 UA 一改可能触发设备校验使已落盘 cookie 失效 - scripts/login.py 与 AuthSession 共用 auth_site.PROFILES 与 is_logged_in,判据只写一遍 - 同一镜像两个启动命令,交易容器覆盖 command 并设 RAKUTEN_HEALTH_PORT 同时带上此前未提交的 ラクマ 分类接口与登录态基础设施。 验证:239 个离线用例全绿;两个入口真实启动,/health 与鉴权正常。 未验证:真实探测登录态(当前开发机无外网,对站点的连接全部超时)。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
This commit is contained in:
@@ -0,0 +1,68 @@
|
||||
"""交易侧 API 数据模型:登录态、(后续的)加购、下单与订单监控
|
||||
|
||||
与抓取侧模型(app/scraping/models/scrape.py)分开的理由和服务本身拆开的理由
|
||||
一致:抓取模型描述的是「站点上有什么」,这里描述的是「我们对某个账号做了什么、
|
||||
现在处于哪一步」——后者有生命周期、有状态迁移,会持久化,不是一次请求的产物。
|
||||
|
||||
响应信封 `ApiResponse` 与抓取侧共用,在 app/shared/api.py。
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
from enum import StrEnum
|
||||
from typing import Any
|
||||
|
||||
from pydantic import BaseModel, Field
|
||||
|
||||
|
||||
class AuthSite(StrEnum):
|
||||
"""支持登录的站点"""
|
||||
|
||||
RAKUTEN = "rakuten"
|
||||
RAKUMA = "rakuma"
|
||||
|
||||
|
||||
class AuthStatusRequest(BaseModel):
|
||||
"""登录态查询请求"""
|
||||
|
||||
site: AuthSite | None = None # 不传则返回两站
|
||||
refresh: bool = True # 是否真实打一次请求探测;false 时只读缓存
|
||||
|
||||
|
||||
class AuthSiteStatus(BaseModel):
|
||||
"""单站登录态"""
|
||||
|
||||
site: str
|
||||
state_file_exists: bool # 是否已跑过 scripts/login.py
|
||||
logged_in: bool | None # None 表示尚未探测
|
||||
checked_age_seconds: float | None = None
|
||||
detail: str = ""
|
||||
|
||||
|
||||
class AuthStatusData(BaseModel):
|
||||
"""登录态查询响应"""
|
||||
|
||||
sites: list[AuthSiteStatus] = Field(default_factory=list)
|
||||
|
||||
|
||||
class AuthReloadRequest(BaseModel):
|
||||
"""重新加载登录态请求(人工登录完成后调用,免重启服务)"""
|
||||
|
||||
site: AuthSite | None = None # 不传则两站都重载
|
||||
|
||||
|
||||
class AuthReloadData(BaseModel):
|
||||
"""重新加载登录态响应"""
|
||||
|
||||
reloaded: dict[str, int] = Field(default_factory=dict) # site -> cookie 条数
|
||||
sites: list[AuthSiteStatus] = Field(default_factory=list)
|
||||
|
||||
|
||||
class TradingHealthData(BaseModel):
|
||||
"""交易服务健康检查响应数据
|
||||
|
||||
只读缓存的登录态,不触发网络探测——健康检查会被高频轮询,实时结果请用
|
||||
POST /api/auth/status。
|
||||
"""
|
||||
|
||||
status: str
|
||||
auth: dict[str, Any] = Field(default_factory=dict)
|
||||
Reference in New Issue
Block a user