近来学习了基于协程的异步编程, 做个知识点总结一下.
近来学习scrapy 框架, 遇到了不少框架内的坑, 有的解决了,有的还未解决,先记录一下.
现在不少网站对于图片资源进行懒加载, 可以有效限制爬虫.所谓的懒加载, 是当我们打开浏览器, 当界面进入可视化区域之后, 图片资源就会进行请求然后展式出来.所以我们直接对url进行请求是拿不到.对于懒加载的图片, 我们要怎么解决呢?
我们经常发送请求给服务器,有时候返回的中文会出现乱码, 这就需要我们单独去处理了,那么我们在处理的时候, 一般会有哪些方法, 以及注意事项呢, 免得一不留神就踩了个坑.
最近在看B站的一个视频学习爬虫, 视频还是今年上半年的, 比较新的, 但是依然遇到了不少兼容问题, 这个做记录, 如果有小伙伴和我一样遇到, 可以对比参考一下怎么解决.
在学习和对比的过程中, 发现其实有很大的共同点, 但是有很细微的差别, 一不小心就踩到坑了
网上看一些性能测试的视频, 基本入门就是教我们使用jemter , 或者loadrunner 这种工具对接口的性能进行基本的测试, 但是在实际工作中, 性能测试的指标就只有这些了吗?