|
|
10e39a506c
|
feat(task): 优化文件列表获取逻辑并添加缓存机制
- 实现按时间前缀获取文件列表，支持小时级目录检索
- 添加降级机制，当时间前缀方式无法找到文件时回退到按天目录
- 在适配器层添加单例模式和客户端连接池管理
- 为S3和AliOSS适配器添加文件列表缓存功能
- 修复跨天任务处理逻辑，约束业务不支持跨天操作
- 优化文件去重逻辑，避免重复处理相同文件
- 添加详细的链路追踪和错误处理机制
|
2025-12-29 18:39:24 +08:00 |
|
|
|
686401162f
|
feat(config): 添加文件列表缓存配置并优化阿里云和S3适配器缓存实现
- 添加 CacheConfig 结构体定义文件列表缓存的TTL和最大条目数
- 在RecordConfig中集成Cache配置项
- 为AliOSS和S3适配器实现统一的文件列表缓存机制
- 移除原有的sync.Map缓存实现和定时清理逻辑
- 引入go-cache依赖库实现专业的缓存管理功能
- 使用LRU算法控制缓存大小避免内存泄漏
- 通过singleflight实现缓存穿透保护和并发控制
- 更新配置文件添加缓存相关配置项
- 在.gitignore中添加.exe文件忽略规则
|
2025-12-29 11:17:18 +08:00 |
|
|
|
b23794587f
|
feat(storage): 添加阿里云OSS存储支持
- 在StorageConfig中新增AliOSS字段以配置阿里云OSS参数
- 新增AliOSSConfig结构体定义阿里云OSS相关配置项
- 在fs包中实现AliOSSAdapter适配器用于操作阿里云OSS
- 实现GetFileList方法从阿里云OSS获取并缓存文件列表
- 添加定时清理过期缓存的功能
- 更新adapter.go根据存储类型选择对应的适配器实例
|
2025-12-03 15:50:09 +08:00 |
|
