init datamate

runtime/ops/llms/qa_condition_evaluator/resources/readme.md

@@ -0,0 +1,107 @@
+# QA评估插件
+## 背景
+基于维度和描述对QA对进行评估，支持用户自定义维度。
+### 约束：
+- 维度小于10个
+- 维度名称低于20个字
+- 依赖大模型服务，服务输入输出如下：
+```python
+# 输入
+request_template = {
+    "prompt": "你好",
+    "max_length": 2024,
+    "top_n": 0.9,
+    "temperature": 0.9
+}
+# 输出
+response_template = {
+    "response":"XXX"
+}
+```
+#### 默认3个维度：
+- 问题是否独立
+- 问答是否针对
+- 语法是否错误
+
+## 调用接口输入
+```python
+inputs = [[
+        {
+            "businessData": {
+                "params": {
+                    "taskId":1,
+                    "LLMUrl":"https://x.x.x.x:xxxx/qwen",
+                    "LLMHeaders":{"Content-Type": "application/json","User-Agent":"Client"},
+                    "LLMBody":{
+                        "prompt": "你好",
+                        "max_length": 2024,
+                        "top_n": 0.9,
+                        "temperature": 0.9
+                        },
+                    "dimension":[
+                        {"dimension":"回答是否有针对性",
+                        "description":"回答应对问题中的所有疑问点提供正面、直接的回答，不应引起疑惑。同时，答案不应有任何内容的遗漏，需构成一个完整的陈述。"
+                        },
+                        {"dimension":"问题是否独立",
+                        "description":"仅分析问题，问题的主体和客体都比较明确，即使有省略，也符合语言习惯。在不需要补充其他信息的情况下不会引起疑惑。"
+                        },
+                        {"dimension":"语法是否错误",
+                        "description":"问题为疑问句，答案为陈述句; 不存在词语搭配不当的情况;连接词和标点符号不存在错用情况；逻辑混乱的情况不存在；语法结构都正确且完整;"
+                        }
+                        ]
+                }
+            },
+            "passData": {
+                "data": "",
+                "text": "[{\"question\":\"什么是秋燥、秋困和秋冻？\",\"answer\":\"秋燥、秋困和秋冻是秋天常见的三种症状和养生问题。秋燥是指秋天天气干燥，导致人体水分流失，出现皮肤发痒、嘴唇起皮、鼻咽干燥等症状；秋困是指秋天天气凉爽，人体代谢下降，导致人感到无精打采、呵欠连天、昏昏欲睡等症状；秋冻是指秋天气温下降，人体需要适应气温的变化，不能一下子穿上很多衣服，让身体适应气温的变化。\",\"qaId\":1}]",
+                "meta": {
+                }
+            },
+            "contextData": {}
+        }
+]]
+
+```
+调用接口输出
+```python
+outputs = [
+    {
+        "businessData": {
+            "params": {
+                "taskId": 1,
+                "LLMUrl": "https://x.x.x.x:xxxx/qwen",
+                "LLMHeaders": {
+                    "Content-Type": "application/json",
+                    "User-Agent": "Client"
+                },
+                "LLMBody": {
+                    "prompt": "你好",
+                    "max_length": 2024,
+                    "top_n": 0.9,
+                    "temperature": 0.9
+                },
+                "dimension": [
+                    {
+                        "dimension": "回答是否有针对性",
+                        "description": "回答应对问题中的所有疑问点提供正面、直接的回答，不应引起疑惑。同时，答案不应有任何内容的遗漏，需构成一个完整的陈述。"
+                    },
+                    {
+                        "dimension": "问题是否独立",
+                        "description": "仅分析问题，问题的主体和客体都比较明确，即使有省略，也符合语言习惯。在不需要补充其他信息的情况下不会引起疑惑。"
+                    },
+                    {
+                        "dimension": "语法是否错误",
+                        "description": "问题为疑问句，答案为陈述句; 不存在词语搭配不当的情况;连接词和标点符号不存在错用情况；逻辑混乱的情况不存在；语法结构都正确且完整;"
+                    }
+                ]
+            }
+        },
+        "passData": {
+            "data": "",
+            "text": "[{\"qaId\": 1, \"result\": [{\"dimension\": \"\回\答\是\否\有\针\对\性\", \"result\": true}, {\"dimension\": \"\问\题\是\否\独\立\", \"result\": true}, {\"dimension\": \"\语\法\是\否\错\误\", \"result\": true}]}]",
+            "meta": {}
+        },
+        "contextData": {}
+    }
+]
+```