|
|
10e39a506c
|
feat(task): 优化文件列表获取逻辑并添加缓存机制
- 实现按时间前缀获取文件列表，支持小时级目录检索
- 添加降级机制，当时间前缀方式无法找到文件时回退到按天目录
- 在适配器层添加单例模式和客户端连接池管理
- 为S3和AliOSS适配器添加文件列表缓存功能
- 修复跨天任务处理逻辑，约束业务不支持跨天操作
- 优化文件去重逻辑，避免重复处理相同文件
- 添加详细的链路追踪和错误处理机制
|
2025-12-29 18:39:24 +08:00 |
|
|
|
b23794587f
|
feat(storage): 添加阿里云OSS存储支持
- 在StorageConfig中新增AliOSS字段以配置阿里云OSS参数
- 新增AliOSSConfig结构体定义阿里云OSS相关配置项
- 在fs包中实现AliOSSAdapter适配器用于操作阿里云OSS
- 实现GetFileList方法从阿里云OSS获取并缓存文件列表
- 添加定时清理过期缓存的功能
- 更新adapter.go根据存储类型选择对应的适配器实例
|
2025-12-03 15:50:09 +08:00 |
|
|
|
3d989c2f47
|
telemetry
|
2025-04-13 11:33:55 +08:00 |
|
|
|
9bf07d3127
|
s3 adapter
|
2025-02-24 18:10:41 +08:00 |
|
|
|
5b4d94e905
|
获取时直接传入相对时间，还是0点可能会出问题，使用path.join而不是直接拼接地址
|
2025-02-16 14:43:52 +08:00 |
|
|
|
ba4aad0ae5
|
Initial
|
2025-02-07 22:58:01 +08:00 |
|
