MEHAEI / NOTES
把技术，写得清楚一点。
持续记录编程、工程实践与生活里的有趣问题。
PythonEngineeringAI
使用python下载超大文件, 直接全部下载, 文件过大, 可能会造成内存不足, 这时候要使用requests 的 stream模式,
主要代码如下
iter_content：一块一块的遍历要下载的内容iter_lines：一行一行的遍历要下载的内容
123456789101112131415......
1. 查看limits.conf文件1cat /etc/security/limits.conf
2. 打开编辑limits.conf文件1sudo vim /etc/security/limits.conf
3. 插入以下内容123456* hard nofile 999999* sof......
😂其实最根本的解决办法就是
想办法把所有的随机请求头保存到本地, 再本地运行随机获取, 最多就会导入路径报错
这里我已经整理好几份不同的随机请求头格式文件, 代码已上传到git
点击这里查看
如有错误 欢迎交流
...
简介 pip是一款包管理工具, 和apt, yum, brew功能类似
安装12345678910111213wget --no-check-certificate https://bootstrap.pypa.io/get-pip.pypython3 get-pip.py# 将pip3加入......
背景: 有些app, 无法通过抓包实现数据采集, 也根本抓不到包, 所以就只能拿出终极秘密武器Appium了
Appium:
一个开源的手机端自动测试框架, 比selenium更强大, 支持 Android、iOS、windows 系统的原生 APP 进行自动操作, 支持不同的......
作用:
监控爬虫脚本，出现异常或者正常结束时，给邮箱发送消息，自己好知道爬虫的进度
老样子，直接上代码
12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152......
背景:
远程服务器上, 部署的爬虫, 经常会因为负载 cpu 内存的过高而导致本地ssh无法连接
废话就不多说, 直接上代码, 主要解释在代码里 主要使用的psutil 模块
大神请略过…….
12345678910111213141516171819202122232425262728293......
解决办法:
from lxml import etree
xml = etree.parse(“./cee.xml”)
root = xml.getroot()
print(root.xpath(“.//i:Reviews”, namespac......
环境:mac python3.7 pyqt5 pyinstaller
ps: 主要是熟悉pyqt5, 加入了单选框 输入框 文本框 文件夹选择框及日历下拉框
效果图:
pyqt5 主程序文件
1234567891011121314151617181920212223242526272829......
报错详细信息
构建错误 - “#include嵌套太深”
/usr/local/include/stdint.h:2:10: error: #include nested too deeply
#include <stddef.h&......