拆分抓取与交易服务

把需要账号登录态的链路从抓取服务里拆出成独立进程。分界线不是「要不要登录」,
而是抓取无状态、幂等、可多开实例,而交易的写操作不可逆、登录态全局唯一、
订单监控是常驻轮询——同进程时抓取一扩容就会复制出 N 份登录态与 N 个轮询,
同一账号会被并发操作。

- app/shared:配置、错误码、日志、ApiResponse 信封 + Bearer 鉴权 + 异常处理器、
  导航请求头构造器
- app/scraping:站点常量、会话、解析器与 10 个抓取接口,:31107,可多开
- app/trading:登录态查询/重载与健康检查,:31108,只能单实例
- 依赖方向锁为 scraping→shared、trading→shared,两侧互不 import;
  tests/test_architecture.py 用 AST 检查 import 并校验两个 app 的路径不串
- 登录态 UA 在 trading 独立持有:与抓取 UA 值相同但变更理由不同,抓取 UA 为绕
  反爬可随时调整,登录 UA 一改可能触发设备校验使已落盘 cookie 失效
- scripts/login.py 与 AuthSession 共用 auth_site.PROFILES 与 is_logged_in,判据只写一遍
- 同一镜像两个启动命令,交易容器覆盖 command 并设 RAKUTEN_HEALTH_PORT

同时带上此前未提交的 ラクマ 分类接口与登录态基础设施。

验证:239 个离线用例全绿;两个入口真实启动,/health 与鉴权正常。
未验证:真实探测登录态(当前开发机无外网,对站点的连接全部超时)。

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
This commit is contained in:
2026-07-27 15:05:01 +08:00
co-authored by Claude Opus 5
parent 4250388762
commit 104d7fef6b
80 changed files with 2330 additions and 402 deletions
+11 -5
View File
@@ -107,11 +107,17 @@ USER rakuten
# 下载 Chromium(仅二进制,不再装系统依赖)
RUN /app/.venv/bin/playwright install chromium
# 健康检查走应用自带的 /health(轻量、不会触发真实抓取)
# 健康检查走应用自带的 /health(轻量、不会触发真实抓取)
# 端口取 RAKUTEN_HEALTH_PORT,未设时用抓取服务的端口——交易容器启动时把它
# 设成 31108 即可,两个服务共用这一个镜像。
HEALTHCHECK --interval=30s --timeout=5s --start-period=20s --retries=3 \
CMD curl -fsS http://127.0.0.1:${RAKUTEN_APP_PORT}/health || exit 1
CMD curl -fsS http://127.0.0.1:${RAKUTEN_HEALTH_PORT:-${RAKUTEN_APP_PORT}}/health || exit 1
EXPOSE 31107
# 31107 抓取服务,31108 交易服务(同一镜像,用 command 区分跑哪个)
EXPOSE 31107 31108
# 配置走环境变量(生产请挂 .env 或用 k8s ConfigMap/Secret 注入)
CMD ["python", "-m", "app.main"]
# 默认起抓取服务。交易服务覆盖 command 即可:
# docker run -e RAKUTEN_HEALTH_PORT=31108 -v ./.auth:/app/.auth \
# <image> python -m app.trading.main
# 注意交易服务持有登录态与订单监控,**只能起一个实例**,不要挂多副本。
CMD ["python", "-m", "app.scraping.main"]