init datamate

runtime/ops/llms/text_quality_evaluation/resources/examples.json

@@ -0,0 +1,98 @@
+{
+  "对文本逻辑连贯性的评分，范围1-5分": [
+    {
+      "question": "今天天气很好，我吃了苹果。数学题很难，天空是蓝色的。狗会叫，鸟会飞。1234567890。",
+      "answer": "1",
+      "evaluate": "这是一段完全没有逻辑的文字，主题不断跳跃，没有任何结构可循。",
+      "result": "1"
+    },
+    {
+      "question": "我今天早上吃了面包，然后去了公园。天气很好，但突然下起了雨。我思考人生的意义，然后决定回家吃冰淇淋。",
+      "answer": "2",
+      "evaluate": "内容尚可理解，但逻辑连贯性较差，主题跳跃明显。",
+      "result": "2"
+    },
+    {
+      "question": "人工智能正在改变世界。它可以帮助我们解决复杂的问题，但也带来了伦理挑战。例如，自动驾驶汽车需要做出道德决策。此外，人工智能还可以用于医疗诊断。",
+      "answer": "3",
+      "evaluate": "内容结构尚可，逻辑基本连贯，但存在少量混乱或跳跃。",
+      "result": "3"
+    },
+    {
+      "question": "人工智能正在改变世界。它可以帮助我们解决复杂的问题，但也带来了伦理挑战。例如，自动驾驶汽车需要做出道德决策。此外，人工智能还可以用于医疗诊断。这些应用展示了其潜力和局限性。",
+      "answer": "4",
+      "evaluate": "内容结构清晰，逻辑连贯，仅有极小混乱或跳跃。",
+      "result": "4"
+    },
+    {
+      "question": "人工智能正在改变世界。它可以帮助我们解决复杂的问题，但也带来了伦理挑战。例如，自动驾驶汽车需要做出道德决策。此外，人工智能还可以用于医疗诊断。这些应用展示了其潜力和局限性，同时也引发了关于技术与人类关系的深入讨论。",
+      "answer": "5",
+      "evaluate": "内容结构清晰，逻辑严密，无任何混乱或跳跃。",
+      "result": "5"
+    }
+  ],
+  "对文本格式一致性的评分，范围1-5分": [
+    {
+      "question": "巴黎的埃菲尔铁塔很高，伦敦的塔桥很老，纽约的自由女神像很美。东京的涩谷很有名，新加坡的滨海湾很繁华。",
+      "answer": "1",
+      "evaluate": "这是一段完全没有格式一致性的文字，段落之间没有任何分隔，内容完全混乱。",
+      "result": "1"
+    },
+    {
+      "question": "巴黎的埃菲尔铁塔很高，伦敦的塔桥很老，纽约的自由女神像很美。东京的涩谷很有名，新加坡的滨海湾很繁华。这些地方都很有特色，但描述方式不统一。",
+      "answer": "2",
+      "evaluate": "内容尚可理解，但格式一致性较差，段落之间没有任何分隔，存在较多格式混乱。",
+      "result": "2"
+    },
+    {
+      "question": "巴黎的埃菲尔铁塔很高。伦敦的塔桥很老。纽约的自由女神像很美。东京的涩谷很有名。新加坡的滨海湾很繁华。这些地方都有独特的建筑风格。",
+      "answer": "3",
+      "evaluate": "内容结构尚可，格式基本一致，但存在少量格式混乱或不一致。",
+      "result": "3"
+    },
+    {
+      "question": "巴黎的埃菲尔铁塔很高。\n伦敦的塔桥很老。\n纽约的自由女神像很美。\n东京的涩谷很有名。\n新加坡的滨海湾很繁华。\n这些地方都有独特的建筑风格。",
+      "answer": "4",
+      "evaluate": "内容结构清晰，格式一致，仅有极小格式混乱或不一致。",
+      "result": "4"
+    },
+    {
+      "question": "### 世界著名建筑\n- **巴黎的埃菲尔铁塔**：高耸入云，象征浪漫。\n- **伦敦的塔桥**：历史悠久，充满工业风格。\n- **纽约的自由女神像**：象征自由，举世闻名。\n- **东京的涩谷**：现代都市的代表，充满活力。\n- **新加坡的滨海湾**：融合自然与现代建筑，令人惊叹。\n\n这些地方都有独特的建筑风格，展现了不同的文化特色。",
+      "answer": "5",
+      "evaluate": "内容结构清晰，格式完全一致，无任何混乱或格式错误。",
+      "result": "5"
+    }
+  ],
+  "对文本信息完整性的评分，范围1-5分": [
+    {
+      "question": "这款手机很好。",
+      "answer": "1",
+      "evaluate": "这是一段完全没有信息完整性的文字，内容过于简单，没有任何具体信息。",
+      "result": "1"
+    },
+    {
+      "question": "这款手机很好，屏幕很大。",
+      "answer": "2",
+      "evaluate": "内容尚可理解，但信息完整性较差，缺乏关键细节，如性能、价格等。",
+      "result": "2"
+    },
+    {
+      "question": "这款手机很好，屏幕很大，运行速度快。",
+      "answer": "3",
+      "evaluate": "内容结构尚可，信息基本完整，但存在关键信息遗漏，如摄像头质量、价格等。",
+      "result": "3"
+    },
+    {
+      "question": "这款手机很好，屏幕很大，运行速度快，摄像头也很清晰。",
+      "answer": "4",
+      "evaluate": "内容结构清晰，信息较为完整，仅有少量关键信息遗漏。",
+      "result": "4"
+    },
+    {
+      "question": "### 这款手机的评测\n- **屏幕**：6.7英寸AMOLED，显示效果出色。\n- **性能**：搭载最新处理器，运行速度快，流畅无卡顿。\n- **摄像头**：4800万像素主摄，支持夜景模式，成像清晰。\n- **价格**：起售价为899美元，性价比高。\n- **优点**：屏幕显示效果好，性能强劲。\n- **缺点**：电池容量较小，续航一般。\n\n总体来说，这是一款综合表现优秀的手机。",
+      "answer": "5",
+      "evaluate": "内容结构清晰，信息完整且详细，涵盖了所有关键方面。",
+      "result": "5"
+    }
+  ]
+}

runtime/ops/llms/text_quality_evaluation/resources/template.txt

@@ -0,0 +1,17 @@
+你将会获得一个问答对，判断问答对是否满足以下标准：
+标准："{criterion}"
+
+要求：
+1. 结合以上标准，一步一步的分析question文本是否满足标准，这里的question不是指一个问题，只是输入的文本，按照模板输出每个维度的分数，你的result就是分数。额外输入一个维度平均分
+2. 如果你对自己的判断没有较强的信心，直接算作不满足标准。
+3. 你的最终裁定应该是1-5的评分，严格按照examples中打分的标准。
+4. 如果你的回答不符合模板格式和规范，重新思考回答。
+{examples}
+问答对：
+问题："{question}"
+答案："{answer}"
+
+模板：
+结果：[1或2或3或4或5]
+分析思路：XXX
+"""