QA评估插件

背景

基于维度和描述对QA对进行评估，支持用户自定义维度。

约束：

维度小于10个
维度名称低于20个字
依赖大模型服务，服务输入输出如下：

# 输入
request_template = {
    "prompt": "你好",
    "max_length": 2024,
    "top_n": 0.9,
    "temperature": 0.9
}
# 输出
response_template = {
    "response":"XXX"
}

默认3个维度：

问题是否独立
问答是否针对
语法是否错误

调用接口输入

inputs = [[
        {
            "businessData": {
                "params": {
                    "taskId":1,
                    "LLMUrl":"https://x.x.x.x:xxxx/qwen",
                    "LLMHeaders":{"Content-Type": "application/json","User-Agent":"Client"},
                    "LLMBody":{
                        "prompt": "你好",
                        "max_length": 2024,
                        "top_n": 0.9,
                        "temperature": 0.9
                        },
                    "dimension":[
                        {"dimension":"回答是否有针对性",
                        "description":"回答应对问题中的所有疑问点提供正面、直接的回答，不应引起疑惑。同时，答案不应有任何内容的遗漏，需构成一个完整的陈述。"
                        },
                        {"dimension":"问题是否独立",
                        "description":"仅分析问题，问题的主体和客体都比较明确，即使有省略，也符合语言习惯。在不需要补充其他信息的情况下不会引起疑惑。"
                        },
                        {"dimension":"语法是否错误",
                        "description":"问题为疑问句，答案为陈述句; 不存在词语搭配不当的情况;连接词和标点符号不存在错用情况；逻辑混乱的情况不存在；语法结构都正确且完整;"
                        }
                        ]
                }
            },
            "passData": {
                "data": "",
                "text": "[{\"question\":\"什么是秋燥、秋困和秋冻？\",\"answer\":\"秋燥、秋困和秋冻是秋天常见的三种症状和养生问题。秋燥是指秋天天气干燥，导致人体水分流失，出现皮肤发痒、嘴唇起皮、鼻咽干燥等症状；秋困是指秋天天气凉爽，人体代谢下降，导致人感到无精打采、呵欠连天、昏昏欲睡等症状；秋冻是指秋天气温下降，人体需要适应气温的变化，不能一下子穿上很多衣服，让身体适应气温的变化。\",\"qaId\":1}]",
                "meta": {
                }
            },
            "contextData": {}
        }
]]

调用接口输出

outputs = [
    {
        "businessData": {
            "params": {
                "taskId": 1,
                "LLMUrl": "https://x.x.x.x:xxxx/qwen",
                "LLMHeaders": {
                    "Content-Type": "application/json",
                    "User-Agent": "Client"
                },
                "LLMBody": {
                    "prompt": "你好",
                    "max_length": 2024,
                    "top_n": 0.9,
                    "temperature": 0.9
                },
                "dimension": [
                    {
                        "dimension": "回答是否有针对性",
                        "description": "回答应对问题中的所有疑问点提供正面、直接的回答，不应引起疑惑。同时，答案不应有任何内容的遗漏，需构成一个完整的陈述。"
                    },
                    {
                        "dimension": "问题是否独立",
                        "description": "仅分析问题，问题的主体和客体都比较明确，即使有省略，也符合语言习惯。在不需要补充其他信息的情况下不会引起疑惑。"
                    },
                    {
                        "dimension": "语法是否错误",
                        "description": "问题为疑问句，答案为陈述句; 不存在词语搭配不当的情况;连接词和标点符号不存在错用情况；逻辑混乱的情况不存在；语法结构都正确且完整;"
                    }
                ]
            }
        },
        "passData": {
            "data": "",
            "text": "[{\"qaId\": 1, \"result\": [{\"dimension\": \"\回\答\是\否\有\针\对\性\", \"result\": true}, {\"dimension\": \"\问\题\是\否\独\立\", \"result\": true}, {\"dimension\": \"\语\法\是\否\错\误\", \"result\": true}]}]",
            "meta": {}
        },
        "contextData": {}
    }
]