init datamate

2025-10-21 23:00:48 +08:00
commit 1c97afed7d
692 changed files with 135442 additions and 0 deletions
--- a/runtime/ops/mapper/remove_duplicate_sentences/metadata.yml
+++ b/runtime/ops/mapper/remove_duplicate_sentences/metadata.yml
@@ -0,0 +1,16 @@
+name: '文档局部内容去重'
+name_en: 'Partial Content Deduplication'
+description: '文档局部内容去重。'
+description_en: 'Deduplicates partial file content.'
+language: 'python'
+vendor: 'huawei'
+raw_id: 'DuplicateSentencesFilter'
+version: '1.0.0'
+types:
+  - 'cleanse'
+modal: 'text'
+effect:
+  before: '这是一个重复的句子。 这是一个重复的句子。 这是一个重复的句子。 这是一个重复的句子。 这是一个重复的句子。'
+  after: '这是一个重复的句子。'
+inputs: 'text'
+outputs: 'text'