jp/rakuten-api
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

自动登录接口 + 有状态端容器化部署 + 三服务合并 openapi 导出

Browse Source 
自动登录（此前只能人工跑 scripts/login.py 再 /api/auth/reload）：
- 新增 POST /api/auth/login：动作顺序与下单前的 require_logged_in 一致（探测 →
  未登录则按 account.yaml 登一次 → 再探测），已登录直接跳过不白起浏览器。
  刻意**不抛 5001**：失败以 logged_in=false + 各站 detail 正常返回，调用方自己
  决定是人工接管还是换账号。
- 新增 RAKUTEN_AUTO_LOGIN_ON_START（默认 false）：启动即准备登录态，为容器部署
  而存在（镜像里没有落盘的 storage_state）。做成后台任务而非启动阻塞——登录最长
  等 relogin_timeout_seconds（默认 300s，撞验证码时在等人工），阻塞会让 /health
  在这段时间里连端口都不通；关服务时 cancel 掉在途的那次。
- 自动登录不绕过站点校验：凭据是用户自己配在 account.yaml 里的，代填进站点自己的
  登录表单，撞 reCAPTCHA / 设备验证会停在有头浏览器等人工，等不到就超时失败。

容器化部署（新增 Dockerfile.trading + docker-compose.yml）：
- 有状态端单独出镜像不是为了整洁：下单/结算必须用**有头** Chromium（headless 会让
  结算 SPA 失灵），镜像要带 Xvfb + 日文字体 + 给人工接管用的可选 x11vnc，抓取镜像
  没有这些。网关复用同一镜像只换 command。
- Jenkinsfile 一条流水线产出两个镜像，BUILD_SCRAPING / BUILD_TRADING 两个开关控制。
- .dockerignore 补上 account.yaml / .auth/ / .browser-data/ / data/：明文密码+卡号、
  可直接冒充账号的 cookie、带登录态的浏览器 profile、含真实 PII 的证据快照，都不该
  进镜像也不该进 build context，运行时一律走挂载。
- .env.example 里 RAKUTEN_AUTO_LOGIN_ON_START 刻意留成注释：compose 的变量插值与
  env_file 读的是同一个 ./.env，这里写成显式值会让 compose 的 `${...:-true}` 失效，
  按 compose 文件头「cp .env.example .env」走反而不会自动登录。

openapi 导出（scripts/export_openapi.py）：三服务合并成一份可直接导入 Apifox /
Postman 的文档，每条接口带 operation 级 servers（不必手动切端口）。鉴权标注是遍历
FastAPI 依赖树认出真的挂了 require_bearer_token 的接口，不按路径猜。

openapi.json 本身仍是 gitignore 的本地生成物，因此 tests/test_openapi_export.py
只在内存里校验合并逻辑（三服务覆盖、operation 级 servers、除 /health 外全部标鉴权、
operationId 唯一、$ref 可解析），不断言「文件内容 == 当前导出结果」——CI 的全新
clone 里没有这个文件，那种断言必然失败。代价是「改了接口忘了重新导出」没有自动
兜底，得手动跑 --check，已在 README 里点明。

398 测试全绿；另单独验证过缺 openapi.json 时该文件 5 个用例仍通过（CI 场景）。
compose 的变量插值行为只按文档核对，本机没有 docker 未能实测。

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
This commit is contained in:
q792602257
2026-08-14 14:27:38 +08:00
co-authored by Claude Opus 5
parent e2875f0c00
commit 63c41b61e7
13 changed files with 1092 additions and 19 deletions
Download Patch File Download Diff File Expand all files Collapse all files
Jenkinsfile
Vendored
+65 -12
View File
@@ -1,6 +1,12 @@
// Jenkinsfile —— jp-rakuten（乐天 / ラクマ 抓取服务）
// Jenkinsfile —— jp-rakuten（抓取服务 + 有状态端）
//
// 一次构建出两个镜像，两者用途不同、不能互相替代：
// git.jerryyan.net/jp/rakuten-api ← Dockerfile 抓取服务（无状态可多开）
// git.jerryyan.net/jp/rakuten-trading ← Dockerfile.trading 有状态端（下单购买+订单查询）
// 有状态端单独出镜像是因为下单/结算必须用**有头** Chromium（headless 会让结算 SPA
// 失灵），镜像里要带 Xvfb + 日文字体 + 可选 x11vnc，抓取镜像没有这些。
// 网关（app.gateway.main）复用 rakuten-trading 镜像，只是换 command。
//
// 默认 registry: git.jerryyan.net/jp/rakuten-api
// 构建参数说明见各 stage 顶部；首次使用前请在 Jenkins 里配置凭据：
// - git-credentials : 拉代码的 SSH / HTTPS 凭据
// - gitea-registry : docker login git.jerryyan.net 的凭据（username/password）
@@ -18,10 +24,19 @@ pipeline {
parameters {
string(name: 'IMAGE_NAME',
defaultValue: 'git.jerryyan.net/jp/rakuten-api',
description: '镜像完整名（含 registry host）')
description: '抓取服务镜像完整名（含 registry host）')
string(name: 'TRADING_IMAGE_NAME',
defaultValue: 'git.jerryyan.net/jp/rakuten-trading',
description: '有状态端（下单+订单查询，含网关）镜像完整名')
string(name: 'IMAGE_TAG',
defaultValue: '',
description: '自定义 tag；留空则用 <BUILD_NUMBER>-<git short sha>')
description: '自定义 tag；留空则用 <BUILD_NUMBER>-<git short sha>。两个镜像共用同一 tag')
booleanParam(name: 'BUILD_SCRAPING',
defaultValue: true,
description: '构建并推送抓取服务镜像')
booleanParam(name: 'BUILD_TRADING',
defaultValue: true,
description: '构建并推送有状态端镜像（体积大：含 Chromium + Xvfb，约 +700MB）')
booleanParam(name: 'SKIP_TEST',
defaultValue: false,
description: '跳过单测（紧急发版用，正常构建不要勾）')
@@ -82,7 +97,10 @@ pipeline {
}
}
stage('Build image') {
stage('Build image: scraping') {
when {
expression { return params.BUILD_SCRAPING }
}
steps {
sh """
docker build \
@@ -95,18 +113,49 @@ pipeline {
}
}
stage('Push image') {
stage('Build image: trading') {
when {
expression { return params.BUILD_TRADING }
}
// 有状态端镜像：Chromium + Xvfb + 日文字体，比抓取镜像明显大也明显慢，
// 首次构建（无缓存）拉 Chromium 二进制约 300MB
steps {
sh """
docker build \
-t ${params.TRADING_IMAGE_NAME}:${env.IMAGE_TAG} \
-t ${params.TRADING_IMAGE_NAME}:latest \
--label org.opencontainers.image.revision=${env.GIT_SHA} \
--label org.opencontainers.image.version=${env.IMAGE_TAG} \
-f Dockerfile.trading .
"""
}
}
stage('Push images') {
when {
expression { return params.BUILD_SCRAPING || params.BUILD_TRADING }
}
steps {
withCredentials([usernamePassword(
credentialsId: 'gitea-registry',
usernameVariable: 'REGISTRY_USER',
passwordVariable: 'REGISTRY_PASS',
)]) {
sh """
echo "\$REGISTRY_PASS" | docker login git.jerryyan.net -u "\$REGISTRY_USER" --password-stdin
docker push ${env.IMAGE_NAME}:${env.IMAGE_TAG}
docker push ${env.IMAGE_NAME}:latest
"""
sh 'echo "$REGISTRY_PASS" | docker login git.jerryyan.net -u "$REGISTRY_USER" --password-stdin'
script {
if (params.BUILD_SCRAPING) {
sh """
docker push ${env.IMAGE_NAME}:${env.IMAGE_TAG}
docker push ${env.IMAGE_NAME}:latest
"""
}
if (params.BUILD_TRADING) {
sh """
docker push ${params.TRADING_IMAGE_NAME}:${env.IMAGE_TAG}
docker push ${params.TRADING_IMAGE_NAME}:latest
"""
}
}
}
}
}
@@ -118,10 +167,14 @@ pipeline {
sh """
docker rmi -f ${env.IMAGE_NAME}:${env.IMAGE_TAG} 2>/dev/null || true
docker rmi -f ${env.IMAGE_NAME}:latest 2>/dev/null || true
docker rmi -f ${params.TRADING_IMAGE_NAME}:${env.IMAGE_TAG} 2>/dev/null || true
docker rmi -f ${params.TRADING_IMAGE_NAME}:latest 2>/dev/null || true
"""
}
success {
echo "构建成功：${env.IMAGE_NAME}:${env.IMAGE_TAG}"
echo "构建成功：tag=${env.IMAGE_TAG}" +
(params.BUILD_SCRAPING ? " ${env.IMAGE_NAME}" : "") +
(params.BUILD_TRADING ? " ${params.TRADING_IMAGE_NAME}" : "")
}
failure {
echo "构建失败，请查看上方日志"