name: '相似文档去除'
name_en: 'Similar Document Removal'
description: '相似文档去除。'
description_en: 'Removes similar documents.'
language: 'python'
vendor: 'huawei'
raw_id: 'DuplicateFilesFilter'
version: '1.0.0'
types:
  - 'cleanse'
modal: 'text'
effect:
  before: '这篇文档跟数据集中的另一篇文档内容几乎一样，执行该算子后，这篇文档会被去除。'
  after: ''
inputs: 'text'
outputs: 'text'
settings:
  fileDuplicateThreshold:
    name: 文档相似度
    description: 基于MinHash算法和Jaccard相似度，计算当前文档与数据集中其它文档相似性，超过设定值，该文档被去除。
    type: slider
    defaultVal: 0.5
    min: 0
    max: 1
    step: 0.1
