当前位置:首页 > Web开发 > 正文

https://blog.csdn.net/xyb1206/article/details/89395316?dept

2024-03-31 Web开发

https://blog.csdn.net/xyb1206/article/details/89395316?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

https://blog.csdn.net/iodjSVf8U1J7KYc/article/details/83189770

官网

https://github.com/my8100/files/blob/master/scrapydweb/README_CN.md

1.

pip install scrapydweb

2.

scrapydweb

会在 运行 指令的文件夹 下 新建 配置文件

3.

vim 

scrapydweb配置文件在第一次执行`scrapydweb`命令确当前目录生成,2020qq空间访问权限破解器 ,文件名scrapydweb_settings_v8.py

1.启用HTTP根基认证(可选):
ENABLE_AUTH = True
USERNAME = ‘username‘
PASSWORD = ‘password‘

pip install logparser 

按 装 后 用命令 logparser 启动

如果 scrapyd 的 log 目录 改削了  用 logparser -dir /scrapyd/logs/    启动

如果在同一台主机运行 Scrapyd 和 ScrapydWeb,建议设置 SCRAPYD_LOGS_DIR 和 ENABLE_LOGPARSER,则启动 ScrapydWeb 时将自动运行 LogParser,该子进程通过按时增量式解析指定目录下的 Scrapy 日志文件以加快 Stats 页面的生成,制止因请求原始日志文件而占用大量内存和网络资源。

Set ‘ENABLE_LOGPARSER = True‘ to run LogParser as a subprocess at startup 

技术图片

技术图片

scrapydweb 安置部署

温馨提示: 本文由Jm博客推荐,转载请保留链接: https://www.jmwww.net/file/web/29352.html