q792602257andClaude Opus 5
104d7fef6b
把需要账号登录态的链路从抓取服务里拆出成独立进程。分界线不是「要不要登录」， 而是抓取无状态、幂等、可多开实例，而交易的写操作不可逆、登录态全局唯一、 订单监控是常驻轮询——同进程时抓取一扩容就会复制出 N 份登录态与 N 个轮询， 同一账号会被并发操作。 - app/shared：配置、错误码、日志、ApiResponse 信封 + Bearer 鉴权 + 异常处理器、 导航请求头构造器 - app/scraping：站点常量、会话、解析器与 10 个抓取接口，:31107，可多开 - app/trading：登录态查询/重载与健康检查，:31108，只能单实例 - 依赖方向锁为 scraping→shared、trading→shared，两侧互不 import； tests/test_architecture.py 用 AST 检查 import 并校验两个 app 的路径不串 - 登录态 UA 在 trading 独立持有：与抓取 UA 值相同但变更理由不同，抓取 UA 为绕 反爬可随时调整，登录 UA 一改可能触发设备校验使已落盘 cookie 失效 - scripts/login.py 与 AuthSession 共用 auth_site.PROFILES 与 is_logged_in，判据只写一遍 - 同一镜像两个启动命令，交易容器覆盖 command 并设 RAKUTEN_HEALTH_PORT 同时带上此前未提交的 ラクマ 分类接口与登录态基础设施。 验证：239 个离线用例全绿；两个入口真实启动，/health 与鉴权正常。 未验证：真实探测登录态（当前开发机无外网，对站点的连接全部超时）。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
94 lines
3.5 KiB
Python
94 lines
3.5 KiB
Python
"""乐天市场（rakuten.co.jp）站点常量
|
|
|
|
集中维护站点入口 URL、浏览器指纹参数，以及搜索页 URL 的排序码 / 筛选码映射。
|
|
|
|
排序码（`s=`）与筛选码（`f=`）并非猜测所得，而是从搜索页前端 bundle
|
|
（r.r10s.jp/com/assets/app/pages/search/javascript/pc-*.bundle.js）中的
|
|
URL→UiQuestion 转换逻辑里提取的枚举，与站点行为一一对应。
|
|
"""
|
|
from __future__ import annotations
|
|
|
|
from typing import Final
|
|
|
|
from app.shared import headers
|
|
|
|
# ---- 站点入口 ----
|
|
HOME_URL: Final = "https://www.rakuten.co.jp/"
|
|
SEARCH_BASE_URL: Final = "https://search.rakuten.co.jp/search/mall/"
|
|
ITEM_BASE_URL: Final = "https://item.rakuten.co.jp/"
|
|
|
|
CATEGORY_BASE_URL: Final = "https://www.rakuten.co.jp/category/"
|
|
|
|
# 店铺首页形如 https://www.rakuten.co.jp/edion/
|
|
WWW_BASE_URL: Final = "https://www.rakuten.co.jp/"
|
|
|
|
SEARCH_HOST: Final = "search.rakuten.co.jp"
|
|
ITEM_HOST: Final = "item.rakuten.co.jp"
|
|
WWW_HOST: Final = "www.rakuten.co.jp"
|
|
|
|
# 取顶层分类列表用的哨兵关键词。
|
|
# 站点的分类分面（genreTree）与查询内容无关，任何关键词都会返回同一套 39 个顶层
|
|
# 分类；刻意用一个搜不到东西的词，可以拿到 count 全为 null 的干净列表，避免把
|
|
# 「某个关键词下的命中数」误当成分类的商品总数返回。
|
|
# 注意不能用单字母（如 a），站点对过短的拉丁关键词直接返回 503。
|
|
GENRE_FACET_PROBE_KEYWORD: Final = "zzzqqqxyz123"
|
|
|
|
# 站点侧限制：搜索结果最多只能翻到 pagination.subset 条（实测 6750），
|
|
# 再往后翻页返回空列表。用于计算 has_more，避免上游无意义地深翻。
|
|
DEFAULT_SUBSET_LIMIT: Final = 6750
|
|
|
|
# ---- 浏览器指纹 ----
|
|
# 搜索页用 PC UA；商品详情页必须用手机 UA，否则返回的是各店铺自定义的
|
|
# EUC-JP 老模板（无 __INITIAL_STATE__，只有面包屑 JSON-LD，无法结构化解析）。
|
|
PC_USER_AGENT: Final = (
|
|
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
|
|
"(KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
|
|
)
|
|
SP_USER_AGENT: Final = (
|
|
"Mozilla/5.0 (iPhone; CPU iPhone OS 17_5 like Mac OS X) AppleWebKit/605.1.15 "
|
|
"(KHTML, like Gecko) Version/17.5 Mobile/15E148 Safari/604.1"
|
|
)
|
|
|
|
ACCEPT_LANGUAGE: Final = headers.ACCEPT_LANGUAGE
|
|
|
|
|
|
def default_headers(*, mobile: bool) -> dict[str, str]:
|
|
"""构造一套完整的浏览器导航请求头。"""
|
|
return headers.navigation_headers(
|
|
SP_USER_AGENT if mobile else PC_USER_AGENT, mobile=mobile
|
|
)
|
|
|
|
|
|
# Akamai Bot Manager 下发的 cookie：判断会话是否已预热完成的依据
|
|
AKAMAI_COOKIE_NAMES: Final = ("ak_bmsc", "bm_sv", "bm_mi", "_abck")
|
|
|
|
# ---- 排序（搜索页 `s=` 参数）----
|
|
# 键为对外暴露的语义化排序名，值为站点侧排序码；standard 不带 s 参数。
|
|
SORT_CODES: Final[dict[str, str | None]] = {
|
|
"standard": None, # 站点默认的相关度排序（relevancy）
|
|
"price_asc": "2",
|
|
"price_desc": "3",
|
|
"newest": "4",
|
|
"review_count": "5",
|
|
"review_score": "6",
|
|
"price_with_shipping_asc": "11",
|
|
"price_with_shipping_desc": "12",
|
|
}
|
|
|
|
# ---- 成色（搜索页 `f=` 参数中的 condition 段）----
|
|
CONDITION_CODES: Final[dict[str, str]] = {
|
|
"new": "101",
|
|
"used": "100",
|
|
"rental": "102",
|
|
}
|
|
|
|
# ---- 布尔筛选（搜索页 `f=` 参数，可重复出现）----
|
|
# 字段名 -> 筛选码
|
|
BOOL_FILTER_CODES: Final[dict[str, str]] = {
|
|
"include_sold_out": "0",
|
|
"free_shipping": "2",
|
|
"has_review": "4",
|
|
"next_day_delivery": "12",
|
|
"super_deal": "13",
|
|
}
|