q792602257andClaude Opus 4.6
2b7db521c4
抓取-解析链路原本只有日志，出现"抓回内容但解析不出预期字段"时定位慢。 接入 OpenTelemetry traces（FastAPI/httpx 自动 + 手写 fetch/parse span）， 解析失败时把页面 HTML 作为 span event 上报，便于事后复现。 Dockerfile 默认开启，镜像一启动即导出到自建 OTLP endpoint。 Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
79 lines
3.7 KiB
Bash
79 lines
3.7 KiB
Bash
# 本仓库出两个服务，共用这一份配置：
|
|
# 抓取服务 python -m app.scraping.main —— 匿名、无状态、可多开实例
|
|
# 交易服务 python -m app.trading.main —— 带账号登录态、有状态，只能单实例
|
|
# 各自只读自己那部分，下面按用途分组标注。
|
|
|
|
# ---- 抓取服务监听地址，通常本地用 127.0.0.1，容器/服务器用 0.0.0.0 ----
|
|
RAKUTEN_APP_HOST=0.0.0.0
|
|
RAKUTEN_APP_PORT=31107
|
|
|
|
# ---- 交易服务监听地址（同机部署时端口必须与上面错开）----
|
|
RAKUTEN_TRADING_HOST=0.0.0.0
|
|
RAKUTEN_TRADING_PORT=31108
|
|
|
|
# 运行环境：dev / prod / test
|
|
RAKUTEN_APP_ENV=dev
|
|
|
|
# 日志级别：DEBUG / INFO / WARNING / ERROR
|
|
RAKUTEN_LOG_LEVEL=INFO
|
|
# 是否将日志写入文件（dev 默认 false，prod 默认 true；可显式覆盖）
|
|
RAKUTEN_LOG_TO_FILE=
|
|
# 日志目录（相对项目根目录）
|
|
RAKUTEN_LOG_DIR=logs
|
|
# 日志切割策略（Loguru 语法）：例如 100 MB / 1 day / 00:00
|
|
RAKUTEN_LOG_ROTATION=100 MB
|
|
# 日志清理策略（Loguru 语法）：例如 14 days / 30 days
|
|
RAKUTEN_LOG_RETENTION=14 days
|
|
# 日志压缩格式：zip / gz / tar.gz；留空表示不压缩
|
|
RAKUTEN_LOG_COMPRESSION=zip
|
|
|
|
# Bearer Token 鉴权密钥：请求需携带 Authorization: Bearer <token>
|
|
RAKUTEN_BEARER_TOKEN=REPLACE_WITH_TOKEN_32CHARS
|
|
|
|
# 单次抓取超时（秒）
|
|
RAKUTEN_REQUEST_TIMEOUT_SECONDS=30
|
|
# 对乐天站点的最大并发请求数
|
|
RAKUTEN_MAX_SITE_CONCURRENCY=8
|
|
# 单次抓取的最大尝试次数（含首次）：1 次直发，2 次换 cookie 重试，3 次起动用浏览器兜底
|
|
RAKUTEN_HTTP_MAX_ATTEMPTS=3
|
|
# Akamai cookie 最长复用时长（秒），超时后重新预热
|
|
RAKUTEN_SESSION_TTL_SECONDS=1800
|
|
|
|
# 浏览器兜底：纯 HTTP 被反爬拦截时用 Playwright 取回 cookie 再回灌重试。
|
|
# 日常流量不会触发；未安装 playwright 时自动降级为不兜底（主链路不受影响）。
|
|
RAKUTEN_BROWSER_FALLBACK_ENABLED=true
|
|
# 浏览器无头模式（留空表示 dev 有头、其他环境无头）
|
|
RAKUTEN_BROWSER_HEADLESS=
|
|
# 使用的浏览器通道（Windows 可填 chrome；留空使用 bundled chromium）
|
|
RAKUTEN_BROWSER_CHANNEL=
|
|
|
|
# 代理地址（需要日本 IP 时配置，例如 http://127.0.0.1:7890）
|
|
# 建议两个服务各配各的：抓取被限速换 IP 即可，交易带账号，出口 IP 频繁漂移
|
|
# 反而会触发风控。
|
|
RAKUTEN_PROXY_SERVER=
|
|
# 代理用户名（如代理需要认证则填写）
|
|
RAKUTEN_PROXY_USERNAME=
|
|
# 代理密码（如代理需要认证则填写）
|
|
RAKUTEN_PROXY_PASSWORD=
|
|
|
|
# ---- 以下仅交易服务使用 ----
|
|
# 人工登录后落盘的 cookie 目录（相对项目根目录）。
|
|
# 里面是可直接冒充账号的凭据，已在 .gitignore 排除，不要提交、不要外传。
|
|
RAKUTEN_AUTH_STATE_DIR=.auth
|
|
# 下单金额上限（日元）：实际应付超过该值直接拒绝提交，防止解析出错或页面改版
|
|
# 导致买到远超预期的订单。设为 0 表示不设上限（不建议）。
|
|
RAKUTEN_ORDER_MAX_TOTAL_YEN=30000
|
|
|
|
# ---- OpenTelemetry traces（可选；默认关闭）----
|
|
# 启用后把抓取-解析链路以 span 导出到 OTLP/HTTP endpoint，
|
|
# 用于排查"抓到的内容为什么解析不出预期字段"。
|
|
# 解析失败时会把页面 HTML 作为 span event 上报（上限可配），便于事后复现。
|
|
RAKUTEN_OTEL_ENABLED=false
|
|
RAKUTEN_OTEL_ENDPOINT=https://oltp.jerryyan.top/v1/traces
|
|
# 服务名按服务覆盖；不设时两侧 main.py 分别按 rakuten-scraping / rakuten-trading 落地
|
|
RAKUTEN_OTEL_SERVICE_NAME=
|
|
# OTLP 鉴权头（形如 key=val,key=val）；当前 endpoint 裸跑，留空
|
|
RAKUTEN_OTEL_HEADERS=
|
|
# 失败 HTML 快照上限字节（默认 2MB，超出截断并标注 truncated=true）
|
|
RAKUTEN_OTEL_SNAPSHOT_MAX_BYTES=2000000
|