|
|
10e39a506c
|
feat(task): 优化文件列表获取逻辑并添加缓存机制
- 实现按时间前缀获取文件列表，支持小时级目录检索
- 添加降级机制，当时间前缀方式无法找到文件时回退到按天目录
- 在适配器层添加单例模式和客户端连接池管理
- 为S3和AliOSS适配器添加文件列表缓存功能
- 修复跨天任务处理逻辑，约束业务不支持跨天操作
- 优化文件去重逻辑，避免重复处理相同文件
- 添加详细的链路追踪和错误处理机制
|
2025-12-29 18:39:24 +08:00 |
|
|
|
686401162f
|
feat(config): 添加文件列表缓存配置并优化阿里云和S3适配器缓存实现
- 添加 CacheConfig 结构体定义文件列表缓存的TTL和最大条目数
- 在RecordConfig中集成Cache配置项
- 为AliOSS和S3适配器实现统一的文件列表缓存机制
- 移除原有的sync.Map缓存实现和定时清理逻辑
- 引入go-cache依赖库实现专业的缓存管理功能
- 使用LRU算法控制缓存大小避免内存泄漏
- 通过singleflight实现缓存穿透保护和并发控制
- 更新配置文件添加缓存相关配置项
- 在.gitignore中添加.exe文件忽略规则
|
2025-12-29 11:17:18 +08:00 |
|
|
|
86f0182593
|
fix(s3): 解决缓存清理时的类型断言错误
- 添加类型检查避免非 cacheItem 类型值导致的 panic
- 跳过 lock_xxx 对应的 *sync.Mutex 类型值
- 保持原有缓存过期清理逻辑不变
|
2025-12-29 10:49:42 +08:00 |
|
|
|
b23794587f
|
feat(storage): 添加阿里云OSS存储支持
- 在StorageConfig中新增AliOSS字段以配置阿里云OSS参数
- 新增AliOSSConfig结构体定义阿里云OSS相关配置项
- 在fs包中实现AliOSSAdapter适配器用于操作阿里云OSS
- 实现GetFileList方法从阿里云OSS获取并缓存文件列表
- 添加定时清理过期缓存的功能
- 更新adapter.go根据存储类型选择对应的适配器实例
|
2025-12-03 15:50:09 +08:00 |
|
|
|
4b1eb11986
|
日志
|
2025-08-04 10:49:24 +08:00 |
|
|
|
838430ee2f
|
30秒缓存
|
2025-06-03 09:49:42 +08:00 |
|
|
|
5dfe6d6356
|
s3 优化缓存逻辑，添加缓存自清理逻辑
|
2025-04-21 15:08:02 +08:00 |
|
|
|
509b829c5b
|
s3 修复缓存键避免被逻辑修改
|
2025-04-21 14:44:23 +08:00 |
|
|
|
e6f93a4d37
|
s3 避免缓存击穿
|
2025-04-21 14:37:51 +08:00 |
|
|
|
2971c5f52d
|
s3 添加缓存避免延迟爆炸
|
2025-04-21 14:02:56 +08:00 |
|
|
|
3d7c88de5f
|
s3 一次性10000个
|
2025-04-13 18:43:45 +08:00 |
|
|
|
104930c413
|
优化stopTime为空时逻辑爆炸的问题
|
2025-04-13 16:07:29 +08:00 |
|
|
|
dc10092f7a
|
tracer层级问题
|
2025-04-13 12:09:49 +08:00 |
|
|
|
3d989c2f47
|
telemetry
|
2025-04-13 11:33:55 +08:00 |
|
|
|
06f7e007f0
|
s3循环列表
|
2025-03-01 10:55:04 +08:00 |
|
|
|
087def8015
|
s3地址问题
|
2025-02-28 12:55:38 +08:00 |
|
|
|
f22753aed6
|
添加endpoint，测试s3
|
2025-02-28 11:32:25 +08:00 |
|
|
|
9bf07d3127
|
s3 adapter
|
2025-02-24 18:10:41 +08:00 |
|
|
|
9b8f61e8e1
|
如果结束时间读取错误，不报错，由后续逻辑处理
|
2025-02-19 10:28:28 +08:00 |
|
|
|
5b4d94e905
|
获取时直接传入相对时间，还是0点可能会出问题，使用path.join而不是直接拼接地址
|
2025-02-16 14:43:52 +08:00 |
|
|
|
ba4aad0ae5
|
Initial
|
2025-02-07 22:58:01 +08:00 |
|
