拆分抓取与交易服务

把需要账号登录态的链路从抓取服务里拆出成独立进程。分界线不是「要不要登录」，而是抓取无状态、幂等、可多开实例，而交易的写操作不可逆、登录态全局唯一、订单监控是常驻轮询——同进程时抓取一扩容就会复制出 N 份登录态与 N 个轮询，同一账号会被并发操作。 - app/shared：配置、错误码、日志、ApiResponse 信封 + Bearer 鉴权 + 异常处理器、导航请求头构造器 - app/scraping：站点常量、会话、解析器与 10 个抓取接口，:31107，可多开 - app/trading：登录态查询/重载与健康检查，:31108，只能单实例 - 依赖方向锁为 scraping→shared、trading→shared，两侧互不 import； tests/test_architecture.py 用 AST 检查 import 并校验两个 app 的路径不串 - 登录态 UA 在 trading 独立持有：与抓取 UA 值相同但变更理由不同，抓取 UA 为绕反爬可随时调整，登录 UA 一改可能触发设备校验使已落盘 cookie 失效 - scripts/login.py 与 AuthSession 共用 auth_site.PROFILES 与 is_logged_in，判据只写一遍 - 同一镜像两个启动命令，交易容器覆盖 command 并设 RAKUTEN_HEALTH_PORT 同时带上此前未提交的ラクマ分类接口与登录态基础设施。验证：239 个离线用例全绿；两个入口真实启动，/health 与鉴权正常。未验证：真实探测登录态（当前开发机无外网，对站点的连接全部超时）。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
2026-07-27 15:05:01 +08:00
parent 4250388762
commit 104d7fef6b
80 changed files with 2330 additions and 402 deletions
@@ -7,17 +7,17 @@ from __future__ import annotations
 import httpx
 import pytest

-from app.core import site
-from app.core.config import Settings
-from app.core.errors import (
+from app.scraping.core import site
+from app.shared.config import Settings
+from app.shared.errors import (
    ItemNotFoundError,
    OffIchibaRedirectError,
    UpstreamBlockedError,
    UpstreamRequestError,
 )
-from app.parsers.subsites import build_item_page_validator
-from app.services.browser_fallback import BrowserVisit
-from app.services.site_session import SiteSession
+from app.scraping.parsers.subsites import build_item_page_validator
+from app.scraping.services.browser_fallback import BrowserVisit
+from app.scraping.services.site_session import SiteSession

 GOOD_PAGE = '<html><script>window.__INITIAL_STATE__ = {"ok":1};</script></html>'
 BLOCK_PAGE = "<html><body>Access Denied. Reference #18.abc</body></html>"