q792602257andClaude Opus 5
104d7fef6b
把需要账号登录态的链路从抓取服务里拆出成独立进程。分界线不是「要不要登录」， 而是抓取无状态、幂等、可多开实例，而交易的写操作不可逆、登录态全局唯一、 订单监控是常驻轮询——同进程时抓取一扩容就会复制出 N 份登录态与 N 个轮询， 同一账号会被并发操作。 - app/shared：配置、错误码、日志、ApiResponse 信封 + Bearer 鉴权 + 异常处理器、 导航请求头构造器 - app/scraping：站点常量、会话、解析器与 10 个抓取接口，:31107，可多开 - app/trading：登录态查询/重载与健康检查，:31108，只能单实例 - 依赖方向锁为 scraping→shared、trading→shared，两侧互不 import； tests/test_architecture.py 用 AST 检查 import 并校验两个 app 的路径不串 - 登录态 UA 在 trading 独立持有：与抓取 UA 值相同但变更理由不同，抓取 UA 为绕 反爬可随时调整，登录 UA 一改可能触发设备校验使已落盘 cookie 失效 - scripts/login.py 与 AuthSession 共用 auth_site.PROFILES 与 is_logged_in，判据只写一遍 - 同一镜像两个启动命令，交易容器覆盖 command 并设 RAKUTEN_HEALTH_PORT 同时带上此前未提交的 ラクマ 分类接口与登录态基础设施。 验证：239 个离线用例全绿；两个入口真实启动，/health 与鉴权正常。 未验证：真实探测登录态（当前开发机无外网，对站点的连接全部超时）。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
123 lines
4.8 KiB
Docker
123 lines
4.8 KiB
Docker
# syntax=docker/dockerfile:1.7
|
|
#
|
|
# 多阶段构建：
|
|
# builder —— 装 uv、跑 uv sync 拿到 .venv（含 browser 兜底的 playwright）
|
|
# runtime —— 仅保留 .venv + app + Chromium 二进制；非 root 运行
|
|
#
|
|
# 镜像默认包含 Playwright 浏览器兜底（与 .env.example 的
|
|
# RAKUTEN_BROWSER_FALLBACK_ENABLED=true 对齐），首次构建多约 400MB。
|
|
# 若要裁剪，可改为 uv sync --no-dev（去掉 --extra browser）。
|
|
|
|
# ----------------------------- builder -----------------------------
|
|
FROM registry.jerryyan.top/library/python:3.13-slim AS builder
|
|
|
|
ENV PYTHONUNBUFFERED=1 \
|
|
PYTHONDONTWRITEBYTECODE=1 \
|
|
UV_LINK_MODE=copy \
|
|
UV_COMPILE_BYTECODE=1 \
|
|
# 国内 PyPI 镜像：uv sync / uv pip install 走阿里云，避免从官方 PyPI 拉包缓慢
|
|
UV_INDEX_URL=https://mirrors.aliyun.com/pypi/simple/
|
|
|
|
# uv 走 astral-sh/uv 的 python3.13-bookworm-slim 镜像（基础镜像已带 uv）；
|
|
# 注意：semver 标签（如 0.5.11）的二进制在 /uv、/uvx；python3.13-* 标签的
|
|
# 二进制在 /usr/local/bin/uv、/usr/local/bin/uvx，别混用。
|
|
COPY --from=registry-ghcr.jerryyan.top/astral-sh/uv:python3.13-bookworm-slim /usr/local/bin/uv /usr/local/bin/uvx /usr/local/bin/
|
|
|
|
WORKDIR /app
|
|
|
|
# 先拷锁文件 + 元数据，让依赖层独立缓存
|
|
COPY uv.lock pyproject.toml ./
|
|
RUN --mount=type=cache,target=/root/.cache/uv \
|
|
uv sync --frozen --no-dev --extra browser
|
|
|
|
# 再拷源码并 install（这样改 app/ 不会重下依赖）
|
|
COPY app ./app
|
|
RUN --mount=type=cache,target=/root/.cache/uv \
|
|
uv sync --frozen --no-dev --extra browser
|
|
|
|
# ----------------------------- runtime -----------------------------
|
|
FROM registry.jerryyan.top/library/python:3.13-slim AS runtime
|
|
|
|
ENV PYTHONUNBUFFERED=1 \
|
|
PYTHONDONTWRITEBYTECODE=1 \
|
|
VIRTUAL_ENV=/app/.venv \
|
|
PATH="/app/.venv/bin:${PATH}" \
|
|
PLAYWRIGHT_BROWSERS_PATH=/ms-playwright \
|
|
# Playwright 浏览器二进制走 npmmirror 镜像，避免从 azureedge 拉取缓慢
|
|
PLAYWRIGHT_DOWNLOAD_HOST=https://cdn.npmmirror.com/binaries/playwright \
|
|
RAKUTEN_APP_HOST=0.0.0.0 \
|
|
RAKUTEN_APP_PORT=31107
|
|
|
|
# Chromium 运行所需的最小系统依赖。
|
|
# 这里显式列出而不是用 `playwright install-deps`，是因为后者要求 root + apt
|
|
# 且版本敏感；锁版本后构建更稳。当前用 libasound2（bookworm 命名）；
|
|
# 若基础镜像切到 trixie，需改为 libasound2t64。
|
|
RUN set -e; \
|
|
{ \
|
|
if [ -f /etc/apt/sources.list ]; then \
|
|
sed -i 's|deb.debian.org|mirrors.aliyun.com|g; s|security.debian.org|mirrors.aliyun.com|g' /etc/apt/sources.list; \
|
|
fi; \
|
|
if [ -f /etc/apt/sources.list.d/debian.sources ]; then \
|
|
sed -i 's|deb.debian.org|mirrors.aliyun.com|g; s|security.debian.org|mirrors.aliyun.com|g' /etc/apt/sources.list.d/debian.sources; \
|
|
fi; \
|
|
} && \
|
|
apt-get update && apt-get install -y --no-install-recommends \
|
|
ca-certificates \
|
|
curl \
|
|
fonts-liberation \
|
|
libasound2 \
|
|
libatk-bridge2.0-0 \
|
|
libatk1.0-0 \
|
|
libcairo2 \
|
|
libcups2 \
|
|
libdbus-1-3 \
|
|
libdrm2 \
|
|
libgbm1 \
|
|
libglib2.0-0 \
|
|
libnspr4 \
|
|
libnss3 \
|
|
libpango-1.0-0 \
|
|
libx11-6 \
|
|
libxcb1 \
|
|
libxcomposite1 \
|
|
libxdamage1 \
|
|
libxext6 \
|
|
libxfixes3 \
|
|
libxkbcommon0 \
|
|
libxrandr2 \
|
|
xdg-utils \
|
|
&& rm -rf /var/lib/apt/lists/*
|
|
|
|
# 非 root 账号
|
|
RUN groupadd --system --gid 10001 rakuten \
|
|
&& useradd --system --uid 10001 --gid rakuten --no-create-home --shell /usr/sbin/nologin rakuten
|
|
|
|
WORKDIR /app
|
|
|
|
# venv + 源码
|
|
COPY --from=builder /app/.venv /app/.venv
|
|
COPY --from=builder /app/app /app/app
|
|
|
|
# 可写目录：logs（Loguru）、浏览器二进制（~300MB）
|
|
RUN mkdir -p /app/logs /ms-playwright \
|
|
&& chown -R rakuten:rakuten /app /ms-playwright
|
|
|
|
USER rakuten
|
|
|
|
# 下载 Chromium（仅二进制，不再装系统依赖）
|
|
RUN /app/.venv/bin/playwright install chromium
|
|
|
|
# 健康检查走应用自带的 /health（轻量、不会触发真实抓取）。
|
|
# 端口取 RAKUTEN_HEALTH_PORT，未设时用抓取服务的端口——交易容器启动时把它
|
|
# 设成 31108 即可，两个服务共用这一个镜像。
|
|
HEALTHCHECK --interval=30s --timeout=5s --start-period=20s --retries=3 \
|
|
CMD curl -fsS http://127.0.0.1:${RAKUTEN_HEALTH_PORT:-${RAKUTEN_APP_PORT}}/health || exit 1
|
|
|
|
# 31107 抓取服务，31108 交易服务（同一镜像，用 command 区分跑哪个）
|
|
EXPOSE 31107 31108
|
|
|
|
# 默认起抓取服务。交易服务覆盖 command 即可：
|
|
# docker run -e RAKUTEN_HEALTH_PORT=31108 -v ./.auth:/app/.auth \
|
|
# <image> python -m app.trading.main
|
|
# 注意交易服务持有登录态与订单监控，**只能起一个实例**，不要挂多副本。
|
|
CMD ["python", "-m", "app.scraping.main"] |