hhhhsc701 d59c167da4 算子将抽取与落盘固定到流程中 (#134) ...

* feature: 将抽取动作移到每一个算子中

* feature: 落盘算子改为默认执行

* feature: 优化前端展示

* feature: 使用pyproject管理依赖

2025-12-05 17:26:29 +08:00

..

file_with_high_repeat_phrase_rate_filter

算子将抽取与落盘固定到流程中 (#134)

2025-12-05 17:26:29 +08:00

file_with_high_repeat_word_rate_filter

算子将抽取与落盘固定到流程中 (#134)

2025-12-05 17:26:29 +08:00

file_with_high_special_char_rate_filter

算子将抽取与落盘固定到流程中 (#134)

2025-12-05 17:26:29 +08:00

img_advertisement_images_cleaner

算子将抽取与落盘固定到流程中 (#134)

2025-12-05 17:26:29 +08:00

img_blurred_images_cleaner

算子将抽取与落盘固定到流程中 (#134)

2025-12-05 17:26:29 +08:00

img_duplicated_images_cleaner

算子将抽取与落盘固定到流程中 (#134)

2025-12-05 17:26:29 +08:00

img_similar_images_cleaner

算子将抽取与落盘固定到流程中 (#134)

2025-12-05 17:26:29 +08:00

remove_duplicate_file

算子将抽取与落盘固定到流程中 (#134)

2025-12-05 17:26:29 +08:00

remove_file_with_many_sensitive_words

算子将抽取与落盘固定到流程中 (#134)

2025-12-05 17:26:29 +08:00

remove_file_with_short_or_long_length

算子将抽取与落盘固定到流程中 (#134)

2025-12-05 17:26:29 +08:00

__init__.py

init datamate

2025-10-21 23:00:48 +08:00