拆分抓取与交易服务
把需要账号登录态的链路从抓取服务里拆出成独立进程。分界线不是「要不要登录」, 而是抓取无状态、幂等、可多开实例,而交易的写操作不可逆、登录态全局唯一、 订单监控是常驻轮询——同进程时抓取一扩容就会复制出 N 份登录态与 N 个轮询, 同一账号会被并发操作。 - app/shared:配置、错误码、日志、ApiResponse 信封 + Bearer 鉴权 + 异常处理器、 导航请求头构造器 - app/scraping:站点常量、会话、解析器与 10 个抓取接口,:31107,可多开 - app/trading:登录态查询/重载与健康检查,:31108,只能单实例 - 依赖方向锁为 scraping→shared、trading→shared,两侧互不 import; tests/test_architecture.py 用 AST 检查 import 并校验两个 app 的路径不串 - 登录态 UA 在 trading 独立持有:与抓取 UA 值相同但变更理由不同,抓取 UA 为绕 反爬可随时调整,登录 UA 一改可能触发设备校验使已落盘 cookie 失效 - scripts/login.py 与 AuthSession 共用 auth_site.PROFILES 与 is_logged_in,判据只写一遍 - 同一镜像两个启动命令,交易容器覆盖 command 并设 RAKUTEN_HEALTH_PORT 同时带上此前未提交的 ラクマ 分类接口与登录态基础设施。 验证:239 个离线用例全绿;两个入口真实启动,/health 与鉴权正常。 未验证:真实探测登录态(当前开发机无外网,对站点的连接全部超时)。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
This commit is contained in:
+21
-2
@@ -1,7 +1,16 @@
|
||||
# 服务监听地址,通常本地用 127.0.0.1,容器/服务器用 0.0.0.0
|
||||
# 本仓库出两个服务,共用这一份配置:
|
||||
# 抓取服务 python -m app.scraping.main —— 匿名、无状态、可多开实例
|
||||
# 交易服务 python -m app.trading.main —— 带账号登录态、有状态,只能单实例
|
||||
# 各自只读自己那部分,下面按用途分组标注。
|
||||
|
||||
# ---- 抓取服务监听地址,通常本地用 127.0.0.1,容器/服务器用 0.0.0.0 ----
|
||||
RAKUTEN_APP_HOST=0.0.0.0
|
||||
# 服务监听端口
|
||||
RAKUTEN_APP_PORT=31107
|
||||
|
||||
# ---- 交易服务监听地址(同机部署时端口必须与上面错开)----
|
||||
RAKUTEN_TRADING_HOST=0.0.0.0
|
||||
RAKUTEN_TRADING_PORT=31108
|
||||
|
||||
# 运行环境:dev / prod / test
|
||||
RAKUTEN_APP_ENV=dev
|
||||
|
||||
@@ -39,8 +48,18 @@ RAKUTEN_BROWSER_HEADLESS=
|
||||
RAKUTEN_BROWSER_CHANNEL=
|
||||
|
||||
# 代理地址(需要日本 IP 时配置,例如 http://127.0.0.1:7890)
|
||||
# 建议两个服务各配各的:抓取被限速换 IP 即可,交易带账号,出口 IP 频繁漂移
|
||||
# 反而会触发风控。
|
||||
RAKUTEN_PROXY_SERVER=
|
||||
# 代理用户名(如代理需要认证则填写)
|
||||
RAKUTEN_PROXY_USERNAME=
|
||||
# 代理密码(如代理需要认证则填写)
|
||||
RAKUTEN_PROXY_PASSWORD=
|
||||
|
||||
# ---- 以下仅交易服务使用 ----
|
||||
# 人工登录后落盘的 cookie 目录(相对项目根目录)。
|
||||
# 里面是可直接冒充账号的凭据,已在 .gitignore 排除,不要提交、不要外传。
|
||||
RAKUTEN_AUTH_STATE_DIR=.auth
|
||||
# 下单金额上限(日元):实际应付超过该值直接拒绝提交,防止解析出错或页面改版
|
||||
# 导致买到远超预期的订单。设为 0 表示不设上限(不建议)。
|
||||
RAKUTEN_ORDER_MAX_TOTAL_YEN=30000
|
||||
|
||||
Reference in New Issue
Block a user