|
|
0ed7dcbee7
|
feat(kg): 实现实体对齐功能（aligner.py）
- 实现三层对齐策略：规则层 + 向量相似度层 + LLM 仲裁层
- 规则层：名称规范化（NFKC、小写、去标点/空格）+ 规则评分
- 向量层：OpenAI Embeddings + cosine 相似度计算
- LLM 层：仅对边界样本调用，严格 JSON schema 校验
- 使用 Union-Find 实现传递合并
- 支持批内对齐（库内对齐待 KG 服务 API 支持）
核心组件：
- EntityAligner 类：align() (async)、align_rules_only() (sync)
- 配置项：kg_alignment_enabled（默认 false）、embedding_model、阈值
- 失败策略：fail-open（对齐失败不中断请求）
集成：
- 已集成到抽取主链路（extract → align → return）
- extract() 调用 async align()
- extract_sync() 调用 sync align_rules_only()
修复：
- P1-1：使用 (name, type) 作为 key，避免同名跨类型误合并
- P1-2：LLM 计数在 finally 块中增加，异常也计数
- P1-3：添加库内对齐说明（待后续实现）
新增 41 个测试用例，全部通过
测试结果：41 tests pass
|
2026-02-19 18:26:54 +08:00 |
|
|
|
0e0782a452
|
feat(kg-extraction): 实现 Python 抽取器 FastAPI 接口
实现功能：
- 创建 kg_extraction/interface.py（FastAPI 路由）
- 实现 POST /api/kg/extract（单条文本抽取）
- 实现 POST /api/kg/extract/batch（批量抽取，最多 50 条）
- 集成到 FastAPI 主路由（/api/kg/ 前缀）
技术实现：
- 配置管理：从环境变量读取 LLM 配置（API Key、Base URL、Model、Temperature）
- 安全性：
- API Key 使用 SecretStr 保护
- 错误信息脱敏（使用 trace_id，不暴露原始异常）
- 请求文本不写入日志（使用 SHA-256 hash）
- 强制要求 X-User-Id 头（鉴权边界）
- 超时控制：
- kg_llm_timeout_seconds（60秒）
- kg_llm_max_retries（2次）
- 输入校验：
- graph_id 和 source_id 使用 UUID pattern
- source_type 使用 Enum（4个值）
- allowed_nodes/relationships 元素使用正则约束（ASCII，1-50字符）
- 审计日志：记录 caller、trace_id、text_hash
代码审查：
- 经过 3 轮 Codex 审查和 2 轮 Claude 修复
- 所有问题已解决（5个 P1/P2 + 3个 P3）
- 语法检查通过
API 端点：
- POST /api/kg/extract：单条文本抽取
- POST /api/kg/extract/batch：批量抽取（最多 50 条）
配置环境变量：
- KG_LLM_API_KEY：LLM API 密钥
- KG_LLM_BASE_URL：自定义端点（可选）
- KG_LLM_MODEL：模型名称（默认 gpt-4o-mini）
- KG_LLM_TEMPERATURE：生成温度（默认 0.0）
- KG_LLM_TIMEOUT_SECONDS：超时时间（默认 60）
- KG_LLM_MAX_RETRIES：重试次数（默认 2）
|
2026-02-17 22:01:06 +08:00 |
|
|
|
5a553ddde3
|
feat(knowledge-graph): 实现知识图谱基础设施搭建
实现功能：
- Neo4j Docker Compose 配置（社区版，端口 7474/7687，数据持久化）
- Makefile 新增 Neo4j 命令（neo4j-up/down/logs/shell）
- knowledge-graph-service Spring Boot 服务（完整的 DDD 分层架构）
- kg_extraction Python 模块（基于 LangChain LLMGraphTransformer）
技术实现：
- Neo4j 配置：环境变量化密码，统一默认值 datamate123
- Java 服务：
- Domain: GraphEntity, GraphRelation 实体模型
- Repository: Spring Data Neo4j，支持 graphId 范围查询
- Service: 业务逻辑，graphId 双重校验，查询限流
- Controller: REST API，UUID 格式校验
- Exception: 实现 ErrorCode 接口，统一异常体系
- Python 模块：
- KnowledgeGraphExtractor 类
- 支持异步/同步/批量抽取
- 支持 schema-guided 模式
- 兼容 OpenAI 及自部署模型
关键设计：
- graphId 权限边界：所有实体操作都在正确的 graphId 范围内
- 查询限流：depth 和 limit 参数受配置约束
- 异常处理：统一使用 BusinessException + ErrorCode
- 凭据管理：环境变量化，避免硬编码
- 双重防御：Controller 格式校验 + Service 业务校验
代码审查：
- 经过 3 轮 Codex 审查和 2 轮 Claude 修复
- 所有 P0 和 P1 问题已解决
- 编译通过，无阻塞性问题
文件变更：
- 新增：Neo4j 配置、knowledge-graph-service（11 个 Java 文件）、kg_extraction（3 个 Python 文件）
- 修改：Makefile、pom.xml、application.yml、pyproject.toml
|
2026-02-17 20:42:55 +08:00 |
|
