jp/rakuten-api
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
28 Commits 1 Branch 0 Tags
b01c9659d12d596a47c9a8e96bfc720453fc8a5c
Commit Graph
28 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
q792602257 b01c9659d1 fix: 避免无 cookie 时重复预热会话 2026-08-16 21:29:51 +08:00
q792602257 6c38089234 feat(docker): add scraping API compose service 2026-08-16 21:04:28 +08:00
q792602257 912e10086f fix(docker): 为容器内 rakuten 用户建 home 目录,修复 Chromium 启动 SIGTRAP 
rakuten 用户是 useradd --no-create-home 建的,HOME 指向不存在的目录。
Chromium 启动时要写 $HOME/.config、~/.pki,写不了就 CHECK 失败触发
int3(SIGTRAP)自杀,Playwright 侧表现为 BrowserType.launch: Target closed。

- Dockerfile / Dockerfile.trading:ENV 增加 HOME=/home/rakuten,
  mkdir + chown 补上 /home/rakuten
- 抓取镜像同样修:浏览器兜底(browser_fallback)也是非 root 跑 Chromium,
  属同一隐患

实测验证:docker run 加 -e HOME=/tmp 后 chrome 可正常 --dump-dom 输出
 2026-08-16 20:59:28 +08:00
q792602257 c263793fb2 fix(docker): 强制 Dockerfile/shell 文件 LF 行尾,修复容器入口脚本启动失败 
Dockerfile.trading 用 BuildKit heredoc 内嵌生成 rakuten-entrypoint.sh,
Windows 签出(core.autocrlf)把 Dockerfile 转成 CRLF 后,heredoc 内容
继承 CR,shebang 变成 /bin/sh\r,容器启动报
"exec /usr/local/bin/rakuten-entrypoint.sh failed: No such file or directory"
(实际是解释器 /bin/sh\r 不存在)。

- 新增 .gitattributes:Dockerfile*、*.sh、*.py、*.yaml、*.toml、*.json
  强制 eol=lf,杜绝 Windows 签出再次转坏
- Dockerfile / Dockerfile.trading 工作区文件转回 LF
 2026-08-16 20:18:49 +08:00
q792602257 fabca9510d feat: 为出站请求统一接入 HTTP 代理 2026-08-14 16:08:39 +08:00
q792602257andClaude Opus 5 3dc2aeb3a2 加官方子站结算链路探针：走到确认页为止，绝不提交订单 
主站 ichiba 的「加购→确认页→提交」已经用真账号跑通，但 books / brandavenue /
biccamera 三个官方子站只有加购契约的静态记录，checkout 这段的选择器与流程从没在
子站上真实走过。本脚本把这段空白补上：每个子站自动挑一件便宜的在售商品，用真账号
走到**下单确认页为止**，逐步落 .probe/subsite/<site>/ 快照与 report-<site>.json。

两道闸保证不产生订单：_FORBIDDEN_BUTTON_TEXTS 黑名单（候选按钮文案命中就停手），
以及一旦出现确认页特征（「注文を確定する」等）立即停并落证据。会产生的真实副作用
已写在脚本文档里：往真实账号购物车加商品（结束时尝试清空，清不掉的在报告里点名）、
可能触发 session upgrade（走与生产同一条自动复核路径）、站点留下未提交的订单草稿。

探针脚本，不进生产链路，也不被任何测试导入。

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
 2026-08-14 14:28:15 +08:00
q792602257andClaude Opus 5 63c41b61e7 自动登录接口 + 有状态端容器化部署 + 三服务合并 openapi 导出 
自动登录（此前只能人工跑 scripts/login.py 再 /api/auth/reload）：
- 新增 POST /api/auth/login：动作顺序与下单前的 require_logged_in 一致（探测 →
  未登录则按 account.yaml 登一次 → 再探测），已登录直接跳过不白起浏览器。
  刻意**不抛 5001**：失败以 logged_in=false + 各站 detail 正常返回，调用方自己
  决定是人工接管还是换账号。
- 新增 RAKUTEN_AUTO_LOGIN_ON_START（默认 false）：启动即准备登录态，为容器部署
  而存在（镜像里没有落盘的 storage_state）。做成后台任务而非启动阻塞——登录最长
  等 relogin_timeout_seconds（默认 300s，撞验证码时在等人工），阻塞会让 /health
  在这段时间里连端口都不通；关服务时 cancel 掉在途的那次。
- 自动登录不绕过站点校验：凭据是用户自己配在 account.yaml 里的，代填进站点自己的
  登录表单，撞 reCAPTCHA / 设备验证会停在有头浏览器等人工，等不到就超时失败。

容器化部署（新增 Dockerfile.trading + docker-compose.yml）：
- 有状态端单独出镜像不是为了整洁：下单/结算必须用**有头** Chromium（headless 会让
  结算 SPA 失灵），镜像要带 Xvfb + 日文字体 + 给人工接管用的可选 x11vnc，抓取镜像
  没有这些。网关复用同一镜像只换 command。
- Jenkinsfile 一条流水线产出两个镜像，BUILD_SCRAPING / BUILD_TRADING 两个开关控制。
- .dockerignore 补上 account.yaml / .auth/ / .browser-data/ / data/：明文密码+卡号、
  可直接冒充账号的 cookie、带登录态的浏览器 profile、含真实 PII 的证据快照，都不该
  进镜像也不该进 build context，运行时一律走挂载。
- .env.example 里 RAKUTEN_AUTO_LOGIN_ON_START 刻意留成注释：compose 的变量插值与
  env_file 读的是同一个 ./.env，这里写成显式值会让 compose 的 `${...:-true}` 失效，
  按 compose 文件头「cp .env.example .env」走反而不会自动登录。

openapi 导出（scripts/export_openapi.py）：三服务合并成一份可直接导入 Apifox /
Postman 的文档，每条接口带 operation 级 servers（不必手动切端口）。鉴权标注是遍历
FastAPI 依赖树认出真的挂了 require_bearer_token 的接口，不按路径猜。

openapi.json 本身仍是 gitignore 的本地生成物，因此 tests/test_openapi_export.py
只在内存里校验合并逻辑（三服务覆盖、operation 级 servers、除 /health 外全部标鉴权、
operationId 唯一、$ref 可解析），不断言「文件内容 == 当前导出结果」——CI 的全新
clone 里没有这个文件，那种断言必然失败。代价是「改了接口忘了重新导出」没有自动
兜底，得手动跑 --check，已在 README 里点明。

398 测试全绿；另单独验证过缺 openapi.json 时该文件 5 个用例仍通过（CI 场景）。
compose 的变量插值行为只按文档核对，本机没有 docker 未能实测。

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
 2026-08-14 14:27:38 +08:00
q792602257andClaude Opus 5 e2875f0c00 自动重登修两处：并发去重读错缓存、只读订单查询掉登录被静默吞掉 
- try_relogin 的并发去重原本读 status().logged_in，但重登成功后的 reload()
  会把它重置成 None，排队在 site 锁上的调用方一律判「还没人登上」，N 个并发
  调用会串行触发 N 次真实登录（各自最长 relogin_timeout）。改用 _relogin_epochs
  计数：等锁期间 epoch 变过就真探测一次，已登录即跳过；仍未登录说明这轮站点侧
  就是登不上（验证码/密码错/风控），直接失败，不在同一波并发里重复触发。
  原并发测试的桩自相矛盾（login_one 返回成功、探针页始终回未登录），断言只能
  松到 count >= 1；桩改为登录成功时翻转探针页，断言收紧到 count == 1。

- check_order_status / list_recent_orders 执行中掉登录此前会被静默吞掉：订单页
  被踢到 SSO 后既不报错也没订单号，_parse_order_status 返回 found=False 被
  _monitor_order 当成「订单还没反映出来」继续轮询（默认 3 小时一轮），
  _parse_order_list 则退化成空列表让 verify_on_site 转 unknown 卡住等人工。
  新增 SiteInteractor._read_with_relogin_retry 外壳：只读操作中途判定掉登录时
  重登一次并整个重跑，第二次仍失败抛 NotLoggedInError。只给读操作用——写操作
  中途掉登录不能重跑（上次动作可能已在站点侧生效），这条边界在两边文档里写明。

- 判据是新增的 auth_site.looks_logged_out：与探针页上权威的 is_logged_in 分开，
  它是业务页上的单边启发式（返回 False 不代表登录着），只用于「判错最多多花一次
  重登」的重试决策。刻意排除 session/upgrade——那是已登录时的站点风控复核密码，
  不是 cookie 过期，误判会把风控当掉登录去重登。

判据里「掉登录会跳到 SSO 域」这一步没有真实探测证据（要复现得先让一份真实登录态
过期），是按站点通行行为的推断，已在常量注释标注；新增测试用替身页面，不是真实
站点 HTML。399 测试全绿（仓库未配 ruff/flake8/mypy，只跑了 pytest）。

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
 2026-08-14 14:05:47 +08:00
q792602257andClaude Sonnet 5 295fc7ad69 结算失败关键节点落调试快照（HTML+截图），方便排查 needs_human 场景 
enter_checkout/submit_order/pay 抛错前尽力落一份页面快照到
evidence_dir/{task_id}/debug-*，与已有编号步骤证据同目录；快照方法自身
失败只记日志，不会掩盖原始异常。之前失败时只有日志文字，要复现现场只能
靠临时探针脚本重新触发一遍真实流程。

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
 2026-08-14 02:07:12 +08:00
q792602257andClaude Sonnet 5 e5f7da09a9 支付方式选择/新卡代填链路用真实站点探针验证并修复两处真实 bug 
真实调用 _select_payment_method 验证「已有匹配卡→点次へ」分支成功；
强制走新卡代填分支验证 _fill_new_card_form/_submit_new_card_form，发现并
修复：1) 选中支付方式后详情面板默认折叠，需再点一次才能展开找到「新增卡」
链接；2)「追加する」提交按钮有重复 DOM 匹配，需逐个尝试真正可点的那个，
不能盲用 .first。

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
 2026-08-14 01:56:41 +08:00
q792602257andClaude Sonnet 5 8b2fd74336 修真实结算流程三处硬伤：headless SPA 异常、次へ按钮选择器猜错、确认页误判 
实测发现 headless=True 会让购物车/结算 SPA 表现异常（购入手続き点了不跳转），
所有会改站点状态的操作改用非无头浏览器；session upgrade/电话补录页的「次へ」
提交按钮选择器一直是猜的 button:has-text，真实控件是 div[role=button] 的
e2e 测试钩子类，从未真正匹配过；enter_checkout 的中间步骤跳转循环没有确认
是否真的离开了购物车页就会把卡住的购物车页当成确认页返回，现在会显式报错。
用真实账号非无头浏览器验证过整条链路能落地到真实 order-confirmation 页（未
触发实际付款）。同时按之前的决定放开新卡表单自动提交，新增地址确认页探针
脚本备用。

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
 2026-08-14 01:11:18 +08:00
q792602257 93c1a83406 实现租约恢复核对：verify_on_site 接真实订单列表反查 
新增 SiteInteractor.list_recent_orders（分页拉 order.my.rakuten.co.jp 订单列表，
按商品 URL 反查）+ GatewayClient.get_task，替换掉恒返回 UNKNOWN 的桩。
NOT_ORDERED 分支目前只有逻辑验证、没有真实多单数据支撑，刻意仍路由到
needs_human，不自动重新下单。全程只读查询，未触发任何真实付款操作。
 2026-08-13 23:58:54 +08:00
q792602257andClaude Sonnet 5 51e2538438 实现付款后订单监控：真实探测 order.my.rakuten.co.jp 配送阶段 
用真实订单号 306087-20260813-0863947697 探测 order.my.rakuten.co.jp（订单列表/
详情页），拿到真实 DOM 结构后实现 SiteInteractor.check_order_status：

- 详情页 URL 可直接从 site_order_id 构造（shop_id 是订单号第一段）
- 配送阶段用「进度条」组件的 4 个固定阶段（ショップ/出荷/配達店/配達完了），
  当前阶段的 class 带 -active-- 中缀，映射到 OrderState.SHIPPED/DELIVERED
- 查不到订单号、进度条解析不出新阶段都不算错误，交给轮询循环继续重试

runner.WorkerRunner 新增 _monitor_order 后台轮询：付款成功上报后以
asyncio.create_task 起后台任务（不阻塞主循环领下一单，因为 SiteInteractor 的
Playwright 操作全程持锁串行化），状态变化时用 terminal=False 追加 report；
新增 cancel_monitors() 在服务关闭时于 SiteInteractor.close() 之前收尾。

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
 2026-08-13 23:01:35 +08:00
q792602257andClaude Sonnet 5 5f7921b788 结算流程用真实下单证据修正：新卡代填 iframe vault、订单号正则、登录态判据 
- 新卡代填改用真实 DOM 结构：卡号/有效期分别托管在 Rakuten PCI 代付 vault 的
  跨域 iframe 里，此前按 autocomplete/name 猜的 selector 在主文档里根本找不到
  元素；持卡人姓名字段改用「名義人」标签相对定位，不用 placeholder 示例文案
  （TARO RAKUTEN 只是示例用户名，不是稳定标识）
- 订单号正则修正 &nbsp; 实体导致的分隔符匹配失败（2026-08-13 真实下单验证）
- login_runner._is_logged_in 改用与 AuthSession 一致的 __INITIAL_STATE__ 判据，
  修掉此前误判「已登录」导致保存无效 storage_state 的问题
- 新增 CheckoutBlockedError：站点风控拦截（session upgrade/3DS）转 needs_human，
  不当普通失败重试
- account.yaml 支持 phone / payment.credit-card 字段
- data/evidence/（真实 PII）加入 .gitignore

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
 2026-08-13 22:36:49 +08:00
q792602257andClaude Opus 4.6 55c01ae4f5 加 /api/cart/* 接口；加购链路完全归 trading 
trading 新增 4 条购物车接口（POST /api/cart/{add,status,clear,remove}），
全部 Bearer 鉴权、走 SiteInteractor（Playwright + storage_state）。同步把
SiteInteractor 从 gateway URL 解耦——lifespan 总是构造与启停，container
字段 worker_site → site，加 asyncio.Lock 让 HTTP 与 worker 共用同一把锁
（同账号串行硬约束）。clear/remove 用 UI 点击 button[aria-label="削除"]，
探针回报这是稳定 selector；真账号实测前先用此路径。

抽 ichiba 加购字段解析到 app/shared/purchase_contract.py（常量 +
inventory_flag_for + basket_domain_of + base_form_fields），原本 scraping
与 trading 重复实现同一段 __INITIAL_STATE__.purchase 解析。进一步发现
README 写的「purchase 块是两服务契约」实际未落地——trading 必须 Playwright
开页（httpx 被 TLS 指纹拦死），本地抽比再调 /api/item_detail 更快更新鲜。
删除 scraping 端 PurchaseInfo/PurchaseOption/PurchaseOptionValue 模型、
各站 _purchase_info 函数、tests/test_purchase.py。ItemDetailData 保留
purchase_condition / is_sold_out / purchase_unit / sku 等商品状态字段。
README「加购与下单」段重写。

328 测试全绿（含架构测试守住三方互不 import）。

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-07-28 17:18:00 +08:00
q792602257andClaude Opus 4.6 65e3ed31f8 交易服务收敛为仅 rakuten：移除 rakuma 登录态与下单入口 
trading 不再管理 ラクマ 的购物车购买、支付与订单监控。删除 auth_site /
auth_session / login_runner / models.AuthSite 中的 rakuma 分支与常量、
account.yaml.example 的 rakuma 段，并清理相关测试。scraping 侧的
ラクマ 抓取 API（/api/rakuma/*）保留不动。

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-07-28 11:50:07 +08:00
q792602257 6247d68fb5 账号 2026-07-27 21:29:36 +08:00
q792602257andClaude Opus 4.6 18cf7ae079 实现 site_interact 加购与购物车校验（Playwright 通道） 
探针实测发现 httpx 因 TLS/HTTP2 指纹被 Rakuten 拒认（cookie 有效但
站点不识别 session），site_interact 改为全程 Playwright + storage_state。
add_to_cart 与 verify_cart 已实测可用：从商品页 __INITIAL_STATE__ 抽
purchase 块、调用方补 variant_id 与 choice、POST basketDomain、用 cart
count JSONP API 与 SPA 渲染后的 cart 页校验。enter_checkout 及之后仍
NotImplementedError：Rakuten 对 checkout 要求 session upgrade（重输密码），
是自动 checkout 的硬墙，未实测过墙方案前留接口缝。

SiteInteractor 类持有 Playwright BrowserContext，由 WorkerRunner 实例
持有、container/main 接线、lifespan 管理生命周期。测试侧 23 个用例，
全套件 333 passed，架构边界守住。

附 5 个探针脚本（scripts/probe_*.py），记录实测路径与响应结构。

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-07-27 17:59:30 +08:00
q792602257andClaude Opus 4.6 07107094a7 实现下单任务网关与本地 worker 
按 docs/order-gateway.md 落地：第三个部署单元 app.gateway（:31109）承担任务队列
+ 状态镜像；本地 worker 在 app.trading.worker 内，按 RAKUTEN_ORDER_GATEWAY_URL
决定是否启动。规格 §5 最关键约束已守：租约过期绝不自动重投，恢复只能 reclaim，
worker 收到 lease_count>1 时先核对站点订单。

站点交互（加购/下单/付款/订单列表反查）按规格 §10 留接口缝，site_interact.py
全部 NotImplementedError，verify.py 恒返回 unknown——等真实账号实测后再填，
不写猜测的提交逻辑。

310 个测试全绿，覆盖规格 §9 验收清单 12 条；架构测试守住三方互不 import。

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-07-27 16:25:20 +08:00
q792602257andClaude Opus 4.6 91bfab7196 忽略 .claude/ 本地配置目录 
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-07-27 15:54:02 +08:00
q792602257andClaude Opus 4.6 3ef3f0275b 简化 Jenkins 推送：构建即推 + 固定 latest 
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-07-27 15:53:56 +08:00
q792602257andClaude Opus 4.6 2b7db521c4 接入 OTel 链路追踪 + 镜像默认启用 
抓取-解析链路原本只有日志，出现"抓回内容但解析不出预期字段"时定位慢。
接入 OpenTelemetry traces（FastAPI/httpx 自动 + 手写 fetch/parse span），
解析失败时把页面 HTML 作为 span event 上报，便于事后复现。
Dockerfile 默认开启，镜像一启动即导出到自建 OTLP endpoint。

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-07-27 15:43:19 +08:00
q792602257 5376ced511 补下单任务网关规格 
抓取在服务器、下单在本地，本地在 NAT 后没有公网入口，因此下单请求由本地长轮询
主动领取，而不是从服务器推进来。docs/order-gateway.md 给出可直接实现的规格：
任务队列与状态镜像的表结构、四个接口契约、任务状态与订单状态的分层、证据留痕约定、
配置项与验收清单。

其中一条是安全关键：租约过期**不自动重投**。本地可能已经下单成功只是回报断网，
自动重投等于再买一次；过期任务转 stale 告警，恢复时必须先查站点订单列表核对。

站点交互（加购/下单/付款）尚未实测，文档里明确留成接口缝并列出待实测项。
 2026-07-27 15:20:11 +08:00
q792602257andClaude Opus 5 104d7fef6b 拆分抓取与交易服务 
把需要账号登录态的链路从抓取服务里拆出成独立进程。分界线不是「要不要登录」，
而是抓取无状态、幂等、可多开实例，而交易的写操作不可逆、登录态全局唯一、
订单监控是常驻轮询——同进程时抓取一扩容就会复制出 N 份登录态与 N 个轮询，
同一账号会被并发操作。

- app/shared：配置、错误码、日志、ApiResponse 信封 + Bearer 鉴权 + 异常处理器、
  导航请求头构造器
- app/scraping：站点常量、会话、解析器与 10 个抓取接口，:31107，可多开
- app/trading：登录态查询/重载与健康检查，:31108，只能单实例
- 依赖方向锁为 scraping→shared、trading→shared，两侧互不 import；
  tests/test_architecture.py 用 AST 检查 import 并校验两个 app 的路径不串
- 登录态 UA 在 trading 独立持有：与抓取 UA 值相同但变更理由不同，抓取 UA 为绕
  反爬可随时调整，登录 UA 一改可能触发设备校验使已落盘 cookie 失效
- scripts/login.py 与 AuthSession 共用 auth_site.PROFILES 与 is_logged_in，判据只写一遍
- 同一镜像两个启动命令，交易容器覆盖 command 并设 RAKUTEN_HEALTH_PORT

同时带上此前未提交的 ラクマ 分类接口与登录态基础设施。

验证：239 个离线用例全绿；两个入口真实启动，/health 与鉴权正常。
未验证：真实探测登录态（当前开发机无外网，对站点的连接全部超时）。

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
 2026-07-27 15:05:01 +08:00
q792602257 4250388762 打包修复 2026-07-27 11:01:50 +08:00
q792602257 e7de0ba826 Jenkins修复 2026-07-27 10:58:13 +08:00
q792602257 5809cb2374 Docker 2026-07-27 10:51:50 +08:00
q792602257 3527975794 Init 2026-07-27 10:34:53 +08:00