name: '文档词重复率检查'
description: '去除重复词过多的文档。'
language: 'Python'
vendor: 'Huawei'
raw_id: 'FileWithHighRepeatPhraseRateFilter'
version: '1.0.0'
types:
  - 'cleanse'
modal: 'text'
effect:
  before: '机器机器机器机器机器机器机器机器机器机器学习学习学习学习学习'
  after: ''
inputs: 'text'
outputs: 'text'
settings:
  repeatPhraseRatio:
    name: 文档词重复率
    description: 某个词的统计数/文档总词数 > 设定值，该文档被去除。
    type: slider
    defaultVal: 0.5
    min: 0
    max: 1
    step: 0.1
  hitStopwords:
    name: 去除停用词
    description: 统计重复词时，选择是否要去除停用词。
    type: switch
    defaultVal: false
    required: true
    checkedLabel: 去除
    unCheckedLabel: 不去除