自动登录接口 + 有状态端容器化部署 + 三服务合并 openapi 导出
自动登录(此前只能人工跑 scripts/login.py 再 /api/auth/reload):
- 新增 POST /api/auth/login:动作顺序与下单前的 require_logged_in 一致(探测 →
未登录则按 account.yaml 登一次 → 再探测),已登录直接跳过不白起浏览器。
刻意**不抛 5001**:失败以 logged_in=false + 各站 detail 正常返回,调用方自己
决定是人工接管还是换账号。
- 新增 RAKUTEN_AUTO_LOGIN_ON_START(默认 false):启动即准备登录态,为容器部署
而存在(镜像里没有落盘的 storage_state)。做成后台任务而非启动阻塞——登录最长
等 relogin_timeout_seconds(默认 300s,撞验证码时在等人工),阻塞会让 /health
在这段时间里连端口都不通;关服务时 cancel 掉在途的那次。
- 自动登录不绕过站点校验:凭据是用户自己配在 account.yaml 里的,代填进站点自己的
登录表单,撞 reCAPTCHA / 设备验证会停在有头浏览器等人工,等不到就超时失败。
容器化部署(新增 Dockerfile.trading + docker-compose.yml):
- 有状态端单独出镜像不是为了整洁:下单/结算必须用**有头** Chromium(headless 会让
结算 SPA 失灵),镜像要带 Xvfb + 日文字体 + 给人工接管用的可选 x11vnc,抓取镜像
没有这些。网关复用同一镜像只换 command。
- Jenkinsfile 一条流水线产出两个镜像,BUILD_SCRAPING / BUILD_TRADING 两个开关控制。
- .dockerignore 补上 account.yaml / .auth/ / .browser-data/ / data/:明文密码+卡号、
可直接冒充账号的 cookie、带登录态的浏览器 profile、含真实 PII 的证据快照,都不该
进镜像也不该进 build context,运行时一律走挂载。
- .env.example 里 RAKUTEN_AUTO_LOGIN_ON_START 刻意留成注释:compose 的变量插值与
env_file 读的是同一个 ./.env,这里写成显式值会让 compose 的 `${...:-true}` 失效,
按 compose 文件头「cp .env.example .env」走反而不会自动登录。
openapi 导出(scripts/export_openapi.py):三服务合并成一份可直接导入 Apifox /
Postman 的文档,每条接口带 operation 级 servers(不必手动切端口)。鉴权标注是遍历
FastAPI 依赖树认出真的挂了 require_bearer_token 的接口,不按路径猜。
openapi.json 本身仍是 gitignore 的本地生成物,因此 tests/test_openapi_export.py
只在内存里校验合并逻辑(三服务覆盖、operation 级 servers、除 /health 外全部标鉴权、
operationId 唯一、$ref 可解析),不断言「文件内容 == 当前导出结果」——CI 的全新
clone 里没有这个文件,那种断言必然失败。代价是「改了接口忘了重新导出」没有自动
兜底,得手动跑 --check,已在 README 里点明。
398 测试全绿;另单独验证过缺 openapi.json 时该文件 5 个用例仍通过(CI 场景)。
compose 的变量插值行为只按文档核对,本机没有 docker 未能实测。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
This commit is contained in:
@@ -127,7 +127,12 @@ PC UA 在搜索页、详情页、店铺页上都能拿到完整模板。因此
|
||||
| --- | --- |
|
||||
| `GET /health` | 健康检查,含乐天账号登录态(只读缓存,不打站点) |
|
||||
| `POST /api/auth/status` | 查询登录态,默认真实探测一次 |
|
||||
| `POST /api/auth/login` | 按 `account.yaml` 自动登录(已登录则跳过;撞验证码要人工接管) |
|
||||
| `POST /api/auth/reload` | 人工重新登录后免重启换上新 cookie |
|
||||
| `POST /api/cart/add` | 加购(`item_url` + 数量/规格/选项) |
|
||||
| `POST /api/cart/status` | 购物车件数与登录态(轻量,不渲染整页) |
|
||||
| `POST /api/cart/clear` | 清空购物车 |
|
||||
| `POST /api/cart/remove` | 删除指定 `item_id` |
|
||||
|
||||
下单任务网关(:31109):
|
||||
|
||||
@@ -147,6 +152,18 @@ PC UA 在搜索页、详情页、店铺页上都能拿到完整模板。因此
|
||||
三个服务共用同一个 Bearer Token,错误码表也是同一份。
|
||||
启动后分别在 `http://127.0.0.1:31107/docs`、`:31108/docs`、`:31109/docs` 查看 OpenAPI 文档。
|
||||
|
||||
要一份能直接导入 Apifox / Postman 的合并文档,用仓库根的 `openapi.json`:三个服务的接口都在里面,
|
||||
每条接口带 operation 级 `servers`(导入后不必手动切端口)与 Bearer 鉴权声明。它是 gitignore 的本地
|
||||
生成物(不进版本库),由脚本产出,别手改:
|
||||
|
||||
```bash
|
||||
.venv/Scripts/python.exe scripts/export_openapi.py # 重新导出
|
||||
.venv/Scripts/python.exe scripts/export_openapi.py --check # 校验是否已最新
|
||||
```
|
||||
|
||||
**改了接口记得手动重新导出**:因为文件不在版本库里,单测无法校验它是否过期(`tests/test_openapi_export.py`
|
||||
只在内存里检查合并逻辑本身:三服务覆盖、operation 级 servers、鉴权标注、operationId 唯一、`$ref` 可解析)。
|
||||
|
||||
## 安装
|
||||
|
||||
```bash
|
||||
@@ -182,6 +199,32 @@ uv sync --extra dev --extra browser
|
||||
cookie 落在 `.auth/`(已 gitignore,内含可直接冒充账号的凭据,不要提交或外传)。
|
||||
后续重新登录后调 `POST /api/auth/reload` 换上新 cookie,不必重启服务。
|
||||
|
||||
配了 `account.yaml` 的话不用每次手动登:`RAKUTEN_RELOGIN_ENABLED=true`(默认)时登录态失效会自动重登,
|
||||
`RAKUTEN_AUTO_LOGIN_ON_START=true` 时服务启动就自己登一次,也可以随时调 `POST /api/auth/login` 触发。
|
||||
撞 reCAPTCHA / 设备验证时流程会停在有头浏览器上等人工完成,等不到就超时失败——自动登录只是代填
|
||||
`account.yaml` 里的凭据,不绕过站点校验。
|
||||
|
||||
## 容器部署
|
||||
|
||||
两个镜像,用途不能互换:
|
||||
|
||||
| 镜像 | Dockerfile | 跑什么 |
|
||||
| --- | --- | --- |
|
||||
| `rakuten-api` | `Dockerfile` | 抓取服务(无状态,可多开) |
|
||||
| `rakuten-trading` | `Dockerfile.trading` | 有状态端:交易服务(默认)与下单网关(换 `command`) |
|
||||
|
||||
有状态端单独出镜像不是为了整洁:下单/结算必须用**有头** Chromium(`headless=True` 会让结算 SPA 失灵),
|
||||
镜像里要带 Xvfb 虚拟显示、日文字体,以及给人工接管用的可选 x11vnc,抓取镜像没有这些。
|
||||
|
||||
```bash
|
||||
docker compose up -d # 起交易服务(本地机侧)
|
||||
docker compose --profile gateway up -d # 额外起下单网关(正式拓扑里它在服务器侧)
|
||||
```
|
||||
|
||||
部署前置与挂载说明写在 `docker-compose.yml` 文件头:至少要有 `.env` 与 `account.yaml`,
|
||||
`.auth/`、`data/`、`logs/` 走挂载持久化。Jenkins 上两个镜像由同一条流水线产出
|
||||
(`BUILD_SCRAPING` / `BUILD_TRADING` 两个开关控制)。
|
||||
|
||||
## 测试
|
||||
|
||||
```bash
|
||||
|
||||
Reference in New Issue
Block a user