  q792602257andClaude Opus 4.6
|
18cf7ae079
|
实现 site_interact 加购与购物车校验（Playwright 通道）
探针实测发现 httpx 因 TLS/HTTP2 指纹被 Rakuten 拒认（cookie 有效但
站点不识别 session），site_interact 改为全程 Playwright + storage_state。
add_to_cart 与 verify_cart 已实测可用：从商品页 __INITIAL_STATE__ 抽
purchase 块、调用方补 variant_id 与 choice、POST basketDomain、用 cart
count JSONP API 与 SPA 渲染后的 cart 页校验。enter_checkout 及之后仍
NotImplementedError：Rakuten 对 checkout 要求 session upgrade（重输密码），
是自动 checkout 的硬墙，未实测过墙方案前留接口缝。
SiteInteractor 类持有 Playwright BrowserContext，由 WorkerRunner 实例
持有、container/main 接线、lifespan 管理生命周期。测试侧 23 个用例，
全套件 333 passed，架构边界守住。
附 5 个探针脚本（scripts/probe_*.py），记录实测路径与响应结构。
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
|
2026-07-27 17:59:30 +08:00 |
|
|
q792602257andClaude Opus 4.6
|
07107094a7
|
实现下单任务网关与本地 worker
按 docs/order-gateway.md 落地：第三个部署单元 app.gateway（:31109）承担任务队列
+ 状态镜像；本地 worker 在 app.trading.worker 内，按 RAKUTEN_ORDER_GATEWAY_URL
决定是否启动。规格 §5 最关键约束已守：租约过期绝不自动重投，恢复只能 reclaim，
worker 收到 lease_count>1 时先核对站点订单。
站点交互（加购/下单/付款/订单列表反查）按规格 §10 留接口缝，site_interact.py
全部 NotImplementedError，verify.py 恒返回 unknown——等真实账号实测后再填，
不写猜测的提交逻辑。
310 个测试全绿，覆盖规格 §9 验收清单 12 条；架构测试守住三方互不 import。
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
|
2026-07-27 16:25:20 +08:00 |
|
|
q792602257andClaude Opus 4.6
|
91bfab7196
|
忽略 .claude/ 本地配置目录
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
|
2026-07-27 15:54:02 +08:00 |
|
|
q792602257andClaude Opus 4.6
|
3ef3f0275b
|
简化 Jenkins 推送：构建即推 + 固定 latest
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
|
2026-07-27 15:53:56 +08:00 |
|
|
q792602257andClaude Opus 4.6
|
2b7db521c4
|
接入 OTel 链路追踪 + 镜像默认启用
抓取-解析链路原本只有日志，出现"抓回内容但解析不出预期字段"时定位慢。
接入 OpenTelemetry traces（FastAPI/httpx 自动 + 手写 fetch/parse span），
解析失败时把页面 HTML 作为 span event 上报，便于事后复现。
Dockerfile 默认开启，镜像一启动即导出到自建 OTLP endpoint。
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
|
2026-07-27 15:43:19 +08:00 |
|
|
q792602257
|
5376ced511
|
补下单任务网关规格
抓取在服务器、下单在本地，本地在 NAT 后没有公网入口，因此下单请求由本地长轮询
主动领取，而不是从服务器推进来。docs/order-gateway.md 给出可直接实现的规格：
任务队列与状态镜像的表结构、四个接口契约、任务状态与订单状态的分层、证据留痕约定、
配置项与验收清单。
其中一条是安全关键：租约过期**不自动重投**。本地可能已经下单成功只是回报断网，
自动重投等于再买一次；过期任务转 stale 告警，恢复时必须先查站点订单列表核对。
站点交互（加购/下单/付款）尚未实测，文档里明确留成接口缝并列出待实测项。
|
2026-07-27 15:20:11 +08:00 |
|
|
q792602257andClaude Opus 5
|
104d7fef6b
|
拆分抓取与交易服务
把需要账号登录态的链路从抓取服务里拆出成独立进程。分界线不是「要不要登录」，
而是抓取无状态、幂等、可多开实例，而交易的写操作不可逆、登录态全局唯一、
订单监控是常驻轮询——同进程时抓取一扩容就会复制出 N 份登录态与 N 个轮询，
同一账号会被并发操作。
- app/shared：配置、错误码、日志、ApiResponse 信封 + Bearer 鉴权 + 异常处理器、
导航请求头构造器
- app/scraping：站点常量、会话、解析器与 10 个抓取接口，:31107，可多开
- app/trading：登录态查询/重载与健康检查，:31108，只能单实例
- 依赖方向锁为 scraping→shared、trading→shared，两侧互不 import；
tests/test_architecture.py 用 AST 检查 import 并校验两个 app 的路径不串
- 登录态 UA 在 trading 独立持有：与抓取 UA 值相同但变更理由不同，抓取 UA 为绕
反爬可随时调整，登录 UA 一改可能触发设备校验使已落盘 cookie 失效
- scripts/login.py 与 AuthSession 共用 auth_site.PROFILES 与 is_logged_in，判据只写一遍
- 同一镜像两个启动命令，交易容器覆盖 command 并设 RAKUTEN_HEALTH_PORT
同时带上此前未提交的 ラクマ 分类接口与登录态基础设施。
验证：239 个离线用例全绿；两个入口真实启动，/health 与鉴权正常。
未验证：真实探测登录态（当前开发机无外网，对站点的连接全部超时）。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
|
2026-07-27 15:05:01 +08:00 |
|
|
q792602257
|
4250388762
|
打包修复
|
2026-07-27 11:01:50 +08:00 |
|
|
q792602257
|
e7de0ba826
|
Jenkins修复
|
2026-07-27 10:58:13 +08:00 |
|
|
q792602257
|
5809cb2374
|
Docker
|
2026-07-27 10:51:50 +08:00 |
|
|
q792602257
|
3527975794
|
Init
|
2026-07-27 10:34:53 +08:00 |
|