q792602257andClaude Opus 5
104d7fef6b
把需要账号登录态的链路从抓取服务里拆出成独立进程。分界线不是「要不要登录」， 而是抓取无状态、幂等、可多开实例，而交易的写操作不可逆、登录态全局唯一、 订单监控是常驻轮询——同进程时抓取一扩容就会复制出 N 份登录态与 N 个轮询， 同一账号会被并发操作。 - app/shared：配置、错误码、日志、ApiResponse 信封 + Bearer 鉴权 + 异常处理器、 导航请求头构造器 - app/scraping：站点常量、会话、解析器与 10 个抓取接口，:31107，可多开 - app/trading：登录态查询/重载与健康检查，:31108，只能单实例 - 依赖方向锁为 scraping→shared、trading→shared，两侧互不 import； tests/test_architecture.py 用 AST 检查 import 并校验两个 app 的路径不串 - 登录态 UA 在 trading 独立持有：与抓取 UA 值相同但变更理由不同，抓取 UA 为绕 反爬可随时调整，登录 UA 一改可能触发设备校验使已落盘 cookie 失效 - scripts/login.py 与 AuthSession 共用 auth_site.PROFILES 与 is_logged_in，判据只写一遍 - 同一镜像两个启动命令，交易容器覆盖 command 并设 RAKUTEN_HEALTH_PORT 同时带上此前未提交的 ラクマ 分类接口与登录态基础设施。 验证：239 个离线用例全绿；两个入口真实启动，/health 与鉴权正常。 未验证：真实探测登录态（当前开发机无外网，对站点的连接全部超时）。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
57 lines
1.9 KiB
Python
57 lines
1.9 KiB
Python
"""子站解析器的公共契约与工具
|
|
|
|
乐天部分官方旗舰店的商品页会跳出市场域名，落到各自独立的站点上。这些站点
|
|
技术栈各不相同（微数据 / Vue SSR state / Nuxt state），但对外要收敛成同一个
|
|
ItemDetailData，因此这里定义统一的输入结构与注册契约。
|
|
"""
|
|
from __future__ import annotations
|
|
|
|
import re
|
|
from collections.abc import Callable
|
|
from dataclasses import dataclass
|
|
|
|
from app.scraping.models.scrape import ItemDetailData
|
|
|
|
# 售罄判定关键词：日文页面上表示不可购买的常见措辞
|
|
SOLD_OUT_MARKERS = ("在庫なし", "在庫切れ", "品切れ", "入荷未定", "販売終了", "取扱終了")
|
|
|
|
_DIGITS_RE = re.compile(r"\d+")
|
|
|
|
|
|
@dataclass(slots=True)
|
|
class SubsitePage:
|
|
"""一个待解析的子站页面及其上下文"""
|
|
|
|
html: str
|
|
requested_url: str # 请求时的 item.rakuten.co.jp 地址
|
|
final_url: str # 跳转后的实际地址
|
|
shop_code: str # 市场侧店铺代码，如 book / stylife / biccamera
|
|
item_code: str # 市场侧商品编号
|
|
include_sku_variants: bool
|
|
|
|
|
|
@dataclass(frozen=True, slots=True)
|
|
class SubsiteParser:
|
|
"""一个子站的解析能力"""
|
|
|
|
host: str # 落地域名
|
|
source: str # 写入 ItemDetailData.source 的标识
|
|
shop_name: str
|
|
validate: Callable[[str], str | None] # 返回 None 表示页面正常
|
|
parse: Callable[[SubsitePage], ItemDetailData]
|
|
|
|
|
|
def parse_price(text: str | int | float | None) -> int:
|
|
"""从 "3,091円" / "1760" / 1760 这类值里取出整数日元金额"""
|
|
if isinstance(text, bool) or text is None:
|
|
return 0
|
|
if isinstance(text, (int, float)):
|
|
return int(text)
|
|
digits = _DIGITS_RE.findall(text.replace(",", ""))
|
|
return int(digits[0]) if digits else 0
|
|
|
|
|
|
def looks_sold_out(status_text: str) -> bool:
|
|
"""按页面上的库存措辞判断是否不可购买"""
|
|
return any(marker in status_text for marker in SOLD_OUT_MARKERS)
|