q792602257andClaude Opus 5
3c7618a1d6
两个问题一起处理，都与「出站请求与可观测性」有关。 ## 抓取：正常路径不再多打一次首页 site_session 原先每条通道每 30 分钟打一次 www.rakuten.co.jp/ 做预热，而且预热 返回非 2xx 时 warmed_at 不置位——那种情况下每个请求前都会再打一次首页。 Akamai 的 cookie 随任意页面响应下发，目标页自己就会带回来，专门先打一次首页除了 多一个出站请求（以及多一次被风控计数的机会）之外没有额外收益：首个请求无论打哪个 URL 都是冷的 ~11s，之后都复用 cookie。 改为 cookie 由目标页响应建立（_note_cookies）、超 TTL 主动清空 （_drop_expired_cookies）。首页只保留在失败修复路径上（_rewarm_on_home）：目标页 已经吃了挑战页时，拿首页换一套干净 cookie 比继续撞同一个 URL 更安全。happy path 的出站请求数 2 → 1。 _note_cookies 刻意不在每次响应时刷新时刻：TTL 要从「这套 cookie 第一次出现」算起， 每次都刷新会让一套 cookie 被无限续命，反而绕过了 session_ttl_seconds 的本意。 profile_status() 的 warmed 字段名保留（上游健康检查看板在用），语义改为「当前有 可复用的 Akamai cookie」，不再代表「已专门预热过首页」。 ## 交易：此前没有任何有意义的链路数据 根因是 trading 的实际工作两类自动埋点都覆盖不到：站点交互走 Playwright（不经 httpx），worker 主循环是后台 asyncio 任务（没有 HTTP 入口，因此没有根 span）。 于是发给网关的每次 httpx 调用各自成为孤立 trace——观测后台上只剩一堆请求记录。 新增手工埋点： - order.task：一笔下单的根 span，一个 task_id 一条 trace，带 order.route （execute / recovery / already_finished）与终态 order.terminal_status - order.step.*：清车 → 加购 → 校验 → 确认 → 提交 → 付款，每步一个子 span， 带 order.evidence_ref，可从 span 直接定位落盘证据 - site.*：12 个 Playwright 交互方法（用 traced 装饰器而非 with 块——这些方法的 函数体本就很长，再加一层缩进不利于阅读） - account_query：只读查询单的根 span，带 query.outcome 空转的长轮询（30 秒一次、绝大多数返回空）用 suppressed() 屏蔽：量大且没有信息量， 把观测后台刷满的正是它们。领到任务后的网关调用都在任务根 span 底下，不受影响。 闸门 / 风控拦截会被 _execute_with_renewal 吞掉转 needs_human，异常冒不到根 span， 被拦下的单在 trace 里跟成功下单一模一样。加 _execute_recording_errors 一层统一 记录，比每个 except 分支各写一遍省事，也不会漏掉后续新增的分支。 _report_safe 写 span 属性前判断 is_recording()：付款后监控是 create_task 起的， asyncio 在创建时就把 context 复制了进去，等它真正跑起来根 span 早已结束—— get_current_span() 拿到的仍是那个已结束的 span（不是 INVALID_SPAN），写属性会打 "Setting attribute on ended span"。当前监控路径不传 terminal_status 走不到那里， 这道判断是防以后。 ## 顺带修掉：instrument_app 从未生效 instrument_app 用 _provider is None 做前置判断，但三个服务都在模块导入时执行 app = create_app()，而 setup_telemetry 要等 lifespan 才跑——那时 _provider 还是 None，照着判断直接 return。**FastAPI 从来没被打桩过，三个服务一条 server span 都没有。** 实测确认两件事：导入期打桩能出 span，lifespan 内打桩出不来（instrument_app 是加 中间件，应用开始服务后加进去不生效）；provider 后设也不影响 ProxyTracer 委托到 真实 provider。所以只能在导入期装，判断条件改为 otel_enabled。 app/gateway/main.py 此前完全没接 telemetry，worker 出站请求带过来的 traceparent 没人接上，一条下单链路在网关这里断掉，只看得到 worker 侧那半截。补上 setup_telemetry(service_name="rakuten-gateway") 与 instrument_app / shutdown。 ## 验证 新增 8 个用例：首页零请求、cookie 复用与过期清空、失败后用首页换 cookie、一任务 一 trace 的父子结构、闸门失败标 ERROR、空转不埋点，以及 instrument_app 调用顺序 的回归测试。全量 526 passed。 Playwright 那些 site.* 埋点只做了静态验证（测试用桩替换站点方法），没有跑真实 浏览器下单确认 span 真的落地。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
150 lines
8.4 KiB
Bash
150 lines
8.4 KiB
Bash
# 本仓库出三个服务，共用这一份配置：
|
|
# 抓取服务 python -m app.scraping.main —— 匿名、无状态、可多开实例
|
|
# 交易服务 python -m app.trading.main —— 带账号登录态、有状态，只能单实例
|
|
# 下单任务网关 python -m app.gateway.main —— 任务队列 + 状态镜像，只能单实例
|
|
# 各自只读自己那部分，下面按用途分组标注。
|
|
|
|
# ---- 抓取服务监听地址，通常本地用 127.0.0.1，容器/服务器用 0.0.0.0 ----
|
|
RAKUTEN_APP_HOST=0.0.0.0
|
|
RAKUTEN_APP_PORT=31107
|
|
|
|
# ---- 交易服务监听地址（同机部署时端口必须与上面错开）----
|
|
RAKUTEN_TRADING_HOST=0.0.0.0
|
|
RAKUTEN_TRADING_PORT=31108
|
|
|
|
# ---- 下单任务网关监听地址（部署在服务器侧；本地 worker 出站长轮询取任务）----
|
|
RAKUTEN_GATEWAY_HOST=0.0.0.0
|
|
RAKUTEN_GATEWAY_PORT=31109
|
|
|
|
# 运行环境：dev / prod / test
|
|
RAKUTEN_APP_ENV=dev
|
|
|
|
# 日志级别：DEBUG / INFO / WARNING / ERROR
|
|
RAKUTEN_LOG_LEVEL=INFO
|
|
# 是否将日志写入文件（dev 默认 false，prod 默认 true；可显式覆盖）
|
|
RAKUTEN_LOG_TO_FILE=
|
|
# 日志目录（相对项目根目录）
|
|
RAKUTEN_LOG_DIR=logs
|
|
# 日志切割策略（Loguru 语法）：例如 100 MB / 1 day / 00:00
|
|
RAKUTEN_LOG_ROTATION=100 MB
|
|
# 日志清理策略（Loguru 语法）：例如 14 days / 30 days
|
|
RAKUTEN_LOG_RETENTION=14 days
|
|
# 日志压缩格式：zip / gz / tar.gz；留空表示不压缩
|
|
RAKUTEN_LOG_COMPRESSION=zip
|
|
|
|
# Bearer Token 鉴权密钥：请求需携带 Authorization: Bearer <token>
|
|
RAKUTEN_BEARER_TOKEN=REPLACE_WITH_TOKEN_32CHARS
|
|
|
|
# 单次抓取超时（秒）
|
|
RAKUTEN_REQUEST_TIMEOUT_SECONDS=30
|
|
# 对乐天站点的最大并发请求数
|
|
RAKUTEN_MAX_SITE_CONCURRENCY=8
|
|
# 单次抓取的最大尝试次数（含首次）：1 次直发，2 次换 cookie 重试，3 次起动用浏览器兜底
|
|
RAKUTEN_HTTP_MAX_ATTEMPTS=3
|
|
# Akamai cookie 最长复用时长（秒），超时后清空、由下一次请求的响应重新建立。
|
|
# cookie 是随目标页响应下发的，正常路径不会额外访问站点首页。
|
|
RAKUTEN_SESSION_TTL_SECONDS=1800
|
|
|
|
# 浏览器兜底：纯 HTTP 被反爬拦截时用 Playwright 取回 cookie 再回灌重试。
|
|
# 日常流量不会触发；未安装 playwright 时自动降级为不兜底（主链路不受影响）。
|
|
RAKUTEN_BROWSER_FALLBACK_ENABLED=true
|
|
# 浏览器无头模式（留空表示 dev 有头、其他环境无头）
|
|
RAKUTEN_BROWSER_HEADLESS=
|
|
# 使用的浏览器通道（Windows 可填 chrome；留空使用 bundled chromium）
|
|
RAKUTEN_BROWSER_CHANNEL=
|
|
|
|
# 代理地址（需要日本 IP 时配置，例如 http://127.0.0.1:7890）
|
|
# 建议两个服务各配各的：抓取被限速换 IP 即可，交易带账号，出口 IP 频繁漂移
|
|
# 反而会触发风控。
|
|
RAKUTEN_PROXY_SERVER=
|
|
# 代理用户名（如代理需要认证则填写）
|
|
RAKUTEN_PROXY_USERNAME=
|
|
# 代理密码（如代理需要认证则填写）
|
|
RAKUTEN_PROXY_PASSWORD=
|
|
# 不经代理的主机名（逗号分隔，支持 *.internal 这类通配符）。默认覆盖本机与 Docker
|
|
# 服务间通信；内部网关或抓取服务使用其它域名时，将其显式加入此列表。
|
|
RAKUTEN_PROXY_BYPASS=localhost,127.0.0.1,::1,rakuten-api,rakuten-trading,rakuten-gateway
|
|
|
|
# ---- OpenTelemetry traces（可选；默认关闭）----
|
|
# 启用后把抓取-解析链路以 span 导出到 OTLP/HTTP endpoint，
|
|
# 用于排查"抓到的内容为什么解析不出预期字段"。
|
|
# 解析失败时会把页面 HTML 作为 span event 上报（上限可配），便于事后复现。
|
|
RAKUTEN_OTEL_ENABLED=false
|
|
RAKUTEN_OTEL_ENDPOINT=https://oltp.jerryyan.top/v1/traces
|
|
# 服务名按服务覆盖；不设时两侧 main.py 分别按 rakuten-scraping / rakuten-trading 落地
|
|
RAKUTEN_OTEL_SERVICE_NAME=
|
|
# OTLP 鉴权头（形如 key=val,key=val）；当前 endpoint 裸跑，留空
|
|
RAKUTEN_OTEL_HEADERS=
|
|
# 失败 HTML 快照上限字节（默认 2MB，超出截断并标注 truncated=true）
|
|
RAKUTEN_OTEL_SNAPSHOT_MAX_BYTES=2000000
|
|
|
|
# ---- 以下仅交易服务使用 ----
|
|
# 人工登录后落盘的 cookie 目录（相对项目根目录）。
|
|
# 里面是可直接冒充账号的凭据，已在 .gitignore 排除，不要提交、不要外传。
|
|
RAKUTEN_AUTH_STATE_DIR=.auth
|
|
# 下单金额上限（日元）：实际应付超过该值直接拒绝提交，防止解析出错或页面改版
|
|
# 导致买到远超预期的订单。设为 0 表示不设上限（不建议）。
|
|
RAKUTEN_ORDER_MAX_TOTAL_YEN=30000
|
|
# 付款后监控（订单列表页轮询）间隔（秒）与最大轮询次数。间隔不宜太短——同一账号
|
|
# 频繁访问订单页有被风控盯上的风险。默认 3 小时一次，最多 80 次（约 10 天）。
|
|
RAKUTEN_ORDER_MONITOR_POLL_INTERVAL_SECONDS=10800
|
|
RAKUTEN_ORDER_MONITOR_MAX_CHECKS=80
|
|
|
|
# 登录态失效时是否自动重登（需要项目根有 account.yaml，含明文密码）。
|
|
# 关闭时登录态一掉就抛 5001 / 转 needs_human，需要人工跑 scripts/login.py。
|
|
RAKUTEN_RELOGIN_ENABLED=true
|
|
# 自动登录（含撞验证码时等人工接管）的最长总耗时（秒）。无人值守的机器可以调小
|
|
# （如 60）以尽快失败转 needs_human。
|
|
RAKUTEN_RELOGIN_TIMEOUT_SECONDS=300
|
|
# 启动时是否自动登录一次：起服务即按 account.yaml 把登录态准备好，不必先在宿主机跑
|
|
# scripts/login.py。后台执行不阻塞端口，失败只记日志。
|
|
# **刻意留成注释**：裸机跑不开（代码默认 false，别在开发机上一启动就弹浏览器），
|
|
# 容器部署由 docker-compose.yml 给 true。这里一旦写成显式值，compose 里的
|
|
# `${RAKUTEN_AUTO_LOGIN_ON_START:-true}` 就会读到 .env 的值而失效——compose 的变量
|
|
# 插值和 env_file 读的是同一个 ./.env。要手动覆盖时才取消注释。
|
|
# RAKUTEN_AUTO_LOGIN_ON_START=false
|
|
|
|
# ---- 以下仅下单任务网关使用 ----
|
|
# 任务队列 SQLite 文件路径（相对项目根目录）。务必放在持久化卷上，丢了等于
|
|
# 丢了一批下单任务。查询通道（account_queries 表）在同一份库文件里。
|
|
# 详见 docs/order-gateway.md。
|
|
RAKUTEN_GATEWAY_DB_PATH=data/gateway.db
|
|
# 任务租约 TTL（秒）。worker 领取后必须在此时间内首次 report 或 renew，否则
|
|
# 任务被置为 stale（**绝不自动重投**，需要人工 reclaim）。
|
|
RAKUTEN_LEASE_TTL_SECONDS=300
|
|
# 长轮询单次最长挂起秒数。worker 端 wait 参数会被夹到这个上限。
|
|
RAKUTEN_LEASE_MAX_WAIT_SECONDS=60
|
|
# worker 心跳超时阈值（秒）。超过即视为失联，/health 报 degraded。
|
|
RAKUTEN_WORKER_OFFLINE_ALERT_SECONDS=300
|
|
|
|
# ---- 账号只读查询通道（网关与本地 worker 共享），详见 docs/order-gateway.md §11 ----
|
|
# 查询单租约 TTL（秒）。worker 领走后需在此期间回结果，否则自动重投回丢列。
|
|
# 与下单任务的关键区别：**只读操作可以安全重投**。
|
|
RAKUTEN_QUERY_LEASE_TTL_SECONDS=180
|
|
# 查询单整体存活上限（秒）。从创建算起，超过仍未完成即置 expired（多半本地 worker 不在线）。
|
|
RAKUTEN_QUERY_TTL_SECONDS=900
|
|
# 同一张查询单最多被领取几次。重投累计到此仍无结果即置 failed。
|
|
RAKUTEN_QUERY_MAX_ATTEMPTS=3
|
|
# 终态查询单保留时长（秒）。结果里带站点原始 JSON，超期由 sweep 清理。
|
|
RAKUTEN_QUERY_RETENTION_SECONDS=604800
|
|
# worker 侧单次站点读取上限（秒）。查询在等账号锁（下单正跑）时也会超时失败，
|
|
# 上游重发即可——只读，重发没有副作用。
|
|
RAKUTEN_ACCOUNT_QUERY_TIMEOUT_SECONDS=120
|
|
# order_list 查询缺省翻页上限。上游可用 params.max_pages 覆盖（1..20）。
|
|
RAKUTEN_ACCOUNT_QUERY_DEFAULT_MAX_PAGES=3
|
|
# 回报结果 JSON 体积上限（字节）。超限先丢站点原始 JSON，仍超限判失败让上游缩小窗口。
|
|
RAKUTEN_QUERY_RESULT_MAX_BYTES=1048576
|
|
|
|
# ---- 以下仅交易服务内的下单 worker 使用 ----
|
|
# 网关 URL。**留空则不启动 worker**，交易服务只跑登录态接口。
|
|
# 部署形态：本地机（NAT 后无公网入口）通过出站长轮询从这里领任务。
|
|
RAKUTEN_ORDER_GATEWAY_URL=
|
|
# worker 标识。同一时间只能有一个 worker 持有 lease，留空时取主机名。
|
|
RAKUTEN_WORKER_ID=
|
|
# 本地订单 SQLite 文件路径（执行事实的权威记录）。
|
|
RAKUTEN_TRADING_DB_PATH=data/trading.db
|
|
# 页面证据目录（HTML 快照 + 截图 + meta.json，按 task_id 分子目录）。
|
|
RAKUTEN_EVIDENCE_DIR=data/evidence
|
|
# 抓取服务基地址。worker 需要商品数据（加购用 purchase 块）时出站请求这里。
|
|
RAKUTEN_SCRAPER_BASE_URL=
|