You've already forked DataMate
init datamate
This commit is contained in:
Dallas98
@@ -0,0 +1,36 @@
|
||||
{
|
||||
"回答是否有针对性": [
|
||||
{
|
||||
"question": "下发 IO 测试的命令格式是什么？？",
|
||||
"answer": "下发 IO 测试的命令格式为：",
|
||||
"evaluate": "回答正面直接的回答了问题（命令格式是什么），但是答案以冒号结尾并不是完整的陈述，因此结果是N",
|
||||
"result": "N"
|
||||
},
|
||||
{
|
||||
"question": "HyperCDP的约束关系是什么？",
|
||||
"answer": "HyperCDP特性和OceanStor Dorado的其他功能之间存在一定的约束关系。",
|
||||
"evaluate": "回答提及到了HyperCDP特性和OceanStor Dorado的其他功能之间存在约束关系，并未直接回答约束关系是什么，因此结果是N。",
|
||||
"result": "N"
|
||||
}
|
||||
],
|
||||
"问题是否独立": [
|
||||
{
|
||||
"question": "这段文档主要讲述了什么内容？",
|
||||
"answer": "这段文档主要讲述了在治疗月经失调和怀孕问题时，需要根据患者的具体症状来调整治疗方法。主要方法包括温养肾气、调理气血、调补冲任、疏肝解郁、燥湿化痰、理气调经以及活血调经等。",
|
||||
"evaluate": "问题中省略了“这段文档”的具体指代，如果没有额外的上下文信息，单独这个问题可能会引起疑惑，因为听者或读者可能不知道指的是哪篇文章。在大多数情况下，为了使问题更加明确，提问者应该提供文章的标题、作者或相关背景信息。",
|
||||
"result": "N"
|
||||
},
|
||||
{
|
||||
"question": "这些鱼体内的不饱和脂肪酸含量非常高，这是为什么？",
|
||||
"answer": "因为这些鱼体内的脂肪酸构成比较特殊，不饱和脂肪酸的含量非常高，而饱和脂肪酸的含量则较低。",
|
||||
"evaluate": "在中文提问的语言习惯中，问题中使用“这些”来指代一组已经提及或已知的鱼是合适的。然而，问题本身并没有提供足够的信息来确定“这些鱼”具体指的是哪些鱼，这就造成了主体的不明确。",
|
||||
"result": "N"
|
||||
},
|
||||
{
|
||||
"question": "如何食用黑芝麻以达到最佳效果？",
|
||||
"answer": "我们平日里吃到的芝麻制品多为芝麻酱和芝麻香油。吃整粒的芝麻对于营养的吸收来说并不是最好的，因为芝麻的外面有一层稍硬的膜，只有把它碾碎，其中的营养素才能被吸收。所以，芝麻最好碾碎了再吃。",
|
||||
"evaluate": "在这个问题中，主体“黑芝麻”是具体的食物，客体“食用方法以达到最佳效果”也是明确的，因为人们通常关心如何食用某种食物以获得最大的健康益处。因此这个问题是符合标准的。",
|
||||
"result": "Y"
|
||||
}
|
||||
]
|
||||
}
|
||||
107
runtime/ops/llms/qa_condition_evaluator/resources/readme.md
Normal file
107
runtime/ops/llms/qa_condition_evaluator/resources/readme.md
Normal file
@@ -0,0 +1,107 @@
|
||||
# QA评估插件
|
||||
## 背景
|
||||
基于维度和描述对QA对进行评估，支持用户自定义维度。
|
||||
### 约束：
|
||||
- 维度小于10个
|
||||
- 维度名称低于20个字
|
||||
- 依赖大模型服务，服务输入输出如下：
|
||||
```python
|
||||
# 输入
|
||||
request_template = {
|
||||
"prompt": "你好",
|
||||
"max_length": 2024,
|
||||
"top_n": 0.9,
|
||||
"temperature": 0.9
|
||||
}
|
||||
# 输出
|
||||
response_template = {
|
||||
"response":"XXX"
|
||||
}
|
||||
```
|
||||
#### 默认3个维度：
|
||||
- 问题是否独立
|
||||
- 问答是否针对
|
||||
- 语法是否错误
|
||||
|
||||
## 调用接口输入
|
||||
```python
|
||||
inputs = [[
|
||||
{
|
||||
"businessData": {
|
||||
"params": {
|
||||
"taskId":1,
|
||||
"LLMUrl":"https://x.x.x.x:xxxx/qwen",
|
||||
"LLMHeaders":{"Content-Type": "application/json","User-Agent":"Client"},
|
||||
"LLMBody":{
|
||||
"prompt": "你好",
|
||||
"max_length": 2024,
|
||||
"top_n": 0.9,
|
||||
"temperature": 0.9
|
||||
},
|
||||
"dimension":[
|
||||
{"dimension":"回答是否有针对性",
|
||||
"description":"回答应对问题中的所有疑问点提供正面、直接的回答，不应引起疑惑。同时，答案不应有任何内容的遗漏，需构成一个完整的陈述。"
|
||||
},
|
||||
{"dimension":"问题是否独立",
|
||||
"description":"仅分析问题，问题的主体和客体都比较明确，即使有省略，也符合语言习惯。在不需要补充其他信息的情况下不会引起疑惑。"
|
||||
},
|
||||
{"dimension":"语法是否错误",
|
||||
"description":"问题为疑问句，答案为陈述句; 不存在词语搭配不当的情况;连接词和标点符号不存在错用情况；逻辑混乱的情况不存在；语法结构都正确且完整;"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"passData": {
|
||||
"data": "",
|
||||
"text": "[{\"question\":\"什么是秋燥、秋困和秋冻？\",\"answer\":\"秋燥、秋困和秋冻是秋天常见的三种症状和养生问题。秋燥是指秋天天气干燥，导致人体水分流失，出现皮肤发痒、嘴唇起皮、鼻咽干燥等症状；秋困是指秋天天气凉爽，人体代谢下降，导致人感到无精打采、呵欠连天、昏昏欲睡等症状；秋冻是指秋天气温下降，人体需要适应气温的变化，不能一下子穿上很多衣服，让身体适应气温的变化。\",\"qaId\":1}]",
|
||||
"meta": {
|
||||
}
|
||||
},
|
||||
"contextData": {}
|
||||
}
|
||||
]]
|
||||
|
||||
```
|
||||
调用接口输出
|
||||
```python
|
||||
outputs = [
|
||||
{
|
||||
"businessData": {
|
||||
"params": {
|
||||
"taskId": 1,
|
||||
"LLMUrl": "https://x.x.x.x:xxxx/qwen",
|
||||
"LLMHeaders": {
|
||||
"Content-Type": "application/json",
|
||||
"User-Agent": "Client"
|
||||
},
|
||||
"LLMBody": {
|
||||
"prompt": "你好",
|
||||
"max_length": 2024,
|
||||
"top_n": 0.9,
|
||||
"temperature": 0.9
|
||||
},
|
||||
"dimension": [
|
||||
{
|
||||
"dimension": "回答是否有针对性",
|
||||
"description": "回答应对问题中的所有疑问点提供正面、直接的回答，不应引起疑惑。同时，答案不应有任何内容的遗漏，需构成一个完整的陈述。"
|
||||
},
|
||||
{
|
||||
"dimension": "问题是否独立",
|
||||
"description": "仅分析问题，问题的主体和客体都比较明确，即使有省略，也符合语言习惯。在不需要补充其他信息的情况下不会引起疑惑。"
|
||||
},
|
||||
{
|
||||
"dimension": "语法是否错误",
|
||||
"description": "问题为疑问句，答案为陈述句; 不存在词语搭配不当的情况;连接词和标点符号不存在错用情况；逻辑混乱的情况不存在；语法结构都正确且完整;"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"passData": {
|
||||
"data": "",
|
||||
"text": "[{\"qaId\": 1, \"result\": [{\"dimension\": \"\回\答\是\否\有\针\对\性\", \"result\": true}, {\"dimension\": \"\问\题\是\否\独\立\", \"result\": true}, {\"dimension\": \"\语\法\是\否\错\误\", \"result\": true}]}]",
|
||||
"meta": {}
|
||||
},
|
||||
"contextData": {}
|
||||
}
|
||||
]
|
||||
```
|
||||
@@ -0,0 +1,17 @@
|
||||
你将会获得一个问答对，判断问答对是否满足以下标准：
|
||||
标准："{criterion}"
|
||||
|
||||
要求：
|
||||
1. 结合以上标准，一步一步的分析问答对是否满足标准，按照模板输出你的回答。
|
||||
2. 如果你对自己的判断没有较强的信心，直接算作不满足标准。
|
||||
3. 你的最终裁定应该是'Y'表示是（符合标准）或'N'表示否（不符合标准）。
|
||||
4. 如果你的回答不符合模板格式和规范，重新思考回答。
|
||||
{examples}
|
||||
问答对：
|
||||
问题："{question}"
|
||||
答案："{answer}"
|
||||
|
||||
模板：
|
||||
结果：[插入结果N或Y]
|
||||
分析思路：XXX
|
||||
"""
|
||||
Reference in New Issue
Block a user