This repository has been archived on 2024-09-10 . You can view files and clone it, but cannot push or open issues or pull requests.
抖音web直播间(live.douyin.com)弹幕抓取
近期工作内容比较繁重,大概率会摸一段时间 (from:q792602257)
实现功能:
- 使用旧版(7.0.4)的mitmproxy,使mitmproxy进程跑在主进程里(主要是Queue这种方式需要)
- 数据无磁盘IO,通过Queue请求传输proto数据,如果对弹幕发送时间要求较高的,可以使用消息对象中的时间
- 修改输出为组件化,后期通过配置进行启用或禁用,开发者也可以自行编写对应的保存逻辑
- 自动打开配置的房间及用户首页
对其中的修改:
- 删除了mongo相关内容(以后补吧……,重写一个也不麻烦)
待实现功能(咕):
- 未开播时,自动刷新页面进行重新检测
- 下播事件触发及对应动作
- 上播事件触发及自动打开对应的房间
- 修改README
- 录播支持
- 异步输出支持
改版后,运行步骤:
- 下载edge浏览器的webDriver驱动:
- 下载地址:https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/
- 下载后在{ /config/settings.yml },配置webdriver - edge的路径,直接放在运行目录,就不用修改配置文件
- 使用 [ requirements.txt ] 下的包,新版的不支持mitmproxy8,只支持mitmproxy7的版本。
- 新版不需要在额外先启动mitmproxy,直接运行main.py就行
屏幕效果截图
Description
Languages
JavaScript
98.6%
Python
1.4%