From bfa05ebfd961c00a5840812a536860eba7f92faf Mon Sep 17 00:00:00 2001 From: yhf Date: Sun, 2 Jan 2022 09:11:53 +0800 Subject: [PATCH 01/12] Update README.md --- README.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/README.md b/README.md index 4062693..bab2523 100644 --- a/README.md +++ b/README.md @@ -10,7 +10,7 @@ |__/ —————— by yanghangfeng ``` -#

PythonCrawler: 用 python编写的爬虫项目集合:bug:

+#

PythonCrawler: 用 python编写的爬虫项目集合:bug:(本项目代码仅作为爬虫技术学习之用，学习者千万要遵循中华人民共和国法律！)

@@ -38,7 +38,7 @@ 3. [get_photos.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/get_photos.py): **抓取百度贴吧某话题下的所有图片。** 4. [get_web_all_img.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/get_web_all_img.py): **抓取整个网站的图片。** 5. [lagou_position_spider.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/lagou_position_spider.py): **任意输入关键字，一键抓取与关键字相关的职位招聘信息，并保存到本地文件。** -6. [student_img.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/student_img.py): **基于本学校官网的url漏洞，获取所有注册学生学籍证件照。** +6. [student_img.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/student_img.py): **自动化获取学籍证件照。** 7. [JD_spider.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/JD_spider.py): **大批量抓取京东商品id和标签。** 8. [ECUT_pos_html.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/ECUT_pos_html.py): **抓取学校官网所有校园招聘信息，并保存为html格式，图片也会镶嵌在html中。** 9. [ECUT_get_grade.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/ECUT_get_grade.py): **模拟登陆学校官网，抓取成绩并计算平均学分绩。** From 4630508b964288937b0c68dd9a845dcbbc0a605b Mon Sep 17 00:00:00 2001 From: yhf Date: Sun, 2 Jan 2022 09:13:18 +0800 Subject: [PATCH 02/12] Update student_img.py --- spiderFile/student_img.py | 25 +------------------------ 1 file changed, 1 insertion(+), 24 deletions(-) diff --git a/spiderFile/student_img.py b/spiderFile/student_img.py index d3135ea..a66436d 100644 --- a/spiderFile/student_img.py +++ b/spiderFile/student_img.py @@ -1,29 +1,6 @@ import requests """ -思路：去官网自己的主页，看自己的照片的url然后你懂的。 +思路：去官网自己的主页，看自己的学籍照片的url。 """ -url = '' -banji = [] -zhuanye = [] -for a in range(10): - for b in range(10): - banji.append(str(a) + '0' + str(b)) -for c in range(10): - zhuanye.append('20' + str(c)) -for year in range(2011, 2015): - for xh in zhuanye: - for nj in banji: - for i in range(1, 35): - if i < 10: - xuehao = str(year) + str(xh) + str(nj) + '0' + str(i) - student_url = url + xuehao - with open('E:/student_img/%s.jpeg' % xuehao, 'wb') as file: - file.write(requests.get(student_url).content) - else: - xuehao = str(year) + str(xh) + str(nj) + str(i) - student_url = url + xuehao - with open('E:/student_img/%s.jpeg' % xuehao, 'wb') as file: - file.write(requests.get(student_url).content) -print('OK!') From 483c276b7c700f16ec7b7f5a62b194a93dedf26e Mon Sep 17 00:00:00 2001 From: yhf Date: Sun, 2 Jan 2022 09:14:46 +0800 Subject: [PATCH 03/12] Update README.md --- README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/README.md b/README.md index bab2523..36c5fdb 100644 --- a/README.md +++ b/README.md @@ -50,7 +50,7 @@ 15. [fuckCTF.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/fuckCTF.py): **通过selenium模拟登入合天网站，自动修改原始密码。** 16. [one_update.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/one_update.py): **更新抓取one文艺网站的代码，添加一句箴言的抓取。** 17. [get_history_weather.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/get_history_weather.py): **抓取广州市2019年第一季度的天气数据。** -18. [search_useful_camera_ip_address.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/search_useful_camera_ip_address.py): **模拟登入某扫描网站获取潜在的摄像头IP地址，然后使用弱密码验证筛选出可登录的摄像头IP地址。** +18. [search_useful_camera_ip_address.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/search_useful_camera_ip_address.py): **摄像头弱密码安全科普。** 19. [get_top_sec_com.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/get_top_sec_com.py): **异步编程获取A股市场网络安全版块公司市值排名情况，并以图片格式保存下来。** 20. [get_tf_accident_info.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/get_tj_accident_info.py): **同步和异步编程结合获取天津市应急管理局所有事故信息。** --- From 81a5eed902dd2514464ec7da5e5fe465eb8b082f Mon Sep 17 00:00:00 2001 From: yhf Date: Fri, 8 Jul 2022 15:43:54 +0800 Subject: [PATCH 04/12] Update README.md --- README.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/README.md b/README.md index 36c5fdb..6b92523 100644 --- a/README.md +++ b/README.md @@ -10,7 +10,7 @@ |__/ —————— by yanghangfeng ``` -#

PythonCrawler: 用 python编写的爬虫项目集合:bug:(本项目代码仅作为爬虫技术学习之用，学习者千万要遵循中华人民共和国法律！)

+#

PythonCrawler: 用 python编写的爬虫项目集合:bug:(本项目代码仅作为爬虫技术学习之用，学习者务必遵循中华人民共和国法律！)

@@ -38,7 +38,7 @@ 3. [get_photos.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/get_photos.py): **抓取百度贴吧某话题下的所有图片。** 4. [get_web_all_img.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/get_web_all_img.py): **抓取整个网站的图片。** 5. [lagou_position_spider.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/lagou_position_spider.py): **任意输入关键字，一键抓取与关键字相关的职位招聘信息，并保存到本地文件。** -6. [student_img.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/student_img.py): **自动化获取学籍证件照。** +6. [student_img.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/student_img.py): **自动化获取自己学籍证件照。** 7. [JD_spider.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/JD_spider.py): **大批量抓取京东商品id和标签。** 8. [ECUT_pos_html.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/ECUT_pos_html.py): **抓取学校官网所有校园招聘信息，并保存为html格式，图片也会镶嵌在html中。** 9. [ECUT_get_grade.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/ECUT_get_grade.py): **模拟登陆学校官网，抓取成绩并计算平均学分绩。** From 0d60014d61a5b159257a366a9088752d6c6059b3 Mon Sep 17 00:00:00 2001 From: yhf Date: Mon, 24 Oct 2022 14:59:17 +0800 Subject: [PATCH 05/12] Update README.md --- README.md | 8 +++++++- 1 file changed, 7 insertions(+), 1 deletion(-) diff --git a/README.md b/README.md index 6b92523..277bb18 100644 --- a/README.md +++ b/README.md @@ -29,7 +29,13 @@

- +对于很多小伙伴咨询IP代理的问题，推荐一个产品，链接：http://www.ipidea.net/?utm-source=yhf&utm-keyword=?yhf +产品介绍： +1、覆盖220+的国家和地区，9000万真实住宅IP资源，汇聚成大规模代理服务池。 +2、提供动态住宅代理、静态住宅代理、数据中心、移动代理等多种解决方案，满足电子商务、市场调查、抓取索引、网站测试、广告验证、seo监控优化等多个业务场景。 +3、支持HTTP/HTTPS/Socks5协议 +4、真实住宅IP，支持从制定国家城市访问目标网站，隐藏真实网络环境，保护隐私，24小时持续过滤并更新，IP纯净度高，快速响应，无限并发，99.9%的成功率，确保高效稳定连接，让您的业务得心应手 +5、支持海量IP免费试用 # spiderFile模块简介 From bf967800e286a4241518bc3304d0c593fc7d3062 Mon Sep 17 00:00:00 2001 From: yhf Date: Mon, 24 Oct 2022 15:01:33 +0800 Subject: [PATCH 06/12] Update README.md --- README.md | 11 ++++++----- 1 file changed, 6 insertions(+), 5 deletions(-) diff --git a/README.md b/README.md index 277bb18..dd07248 100644 --- a/README.md +++ b/README.md @@ -29,13 +29,14 @@

-对于很多小伙伴咨询IP代理的问题，推荐一个产品，链接：http://www.ipidea.net/?utm-source=yhf&utm-keyword=?yhf +对于很多小伙伴咨询IP代理的问题，推荐一个产品，[相关链接点击直达](http://www.ipidea.net/?utm-source=yhf&utm-keyword=?yhf) 产品介绍： -1、覆盖220+的国家和地区，9000万真实住宅IP资源，汇聚成大规模代理服务池。 -2、提供动态住宅代理、静态住宅代理、数据中心、移动代理等多种解决方案，满足电子商务、市场调查、抓取索引、网站测试、广告验证、seo监控优化等多个业务场景。 -3、支持HTTP/HTTPS/Socks5协议 +1、覆盖220+的国家和地区，9000万真实住宅IP资源，汇聚成大规模代理服务池； +2、提供动态住宅代理、静态住宅代理、数据中心、移动代理等多种解决方案，满足电子商务、市场调查、抓取索引、网站测试、广告验证、seo监控优化等多个业务场景； +3、支持HTTP/HTTPS/Socks5协议； 4、真实住宅IP，支持从制定国家城市访问目标网站，隐藏真实网络环境，保护隐私，24小时持续过滤并更新，IP纯净度高，快速响应，无限并发，99.9%的成功率，确保高效稳定连接，让您的业务得心应手 -5、支持海量IP免费试用 +； +5、支持海量IP免费试用。 # spiderFile模块简介 From 72ba185ce7a774f0a06515a08db02ff494b6c49e Mon Sep 17 00:00:00 2001 From: yhf Date: Mon, 24 Oct 2022 15:30:14 +0800 Subject: [PATCH 07/12] Update README.md --- README.md | 13 +++++++------ 1 file changed, 7 insertions(+), 6 deletions(-) diff --git a/README.md b/README.md index dd07248..7dc2c5b 100644 --- a/README.md +++ b/README.md @@ -29,13 +29,14 @@

-对于很多小伙伴咨询IP代理的问题，推荐一个产品，[相关链接点击直达](http://www.ipidea.net/?utm-source=yhf&utm-keyword=?yhf) -产品介绍： -1、覆盖220+的国家和地区，9000万真实住宅IP资源，汇聚成大规模代理服务池； -2、提供动态住宅代理、静态住宅代理、数据中心、移动代理等多种解决方案，满足电子商务、市场调查、抓取索引、网站测试、广告验证、seo监控优化等多个业务场景； -3、支持HTTP/HTTPS/Socks5协议； + +由于很多小伙伴都咨询IP代理的问题，在这里推荐大家一个好用的产品，[相关链接点击直达](http://www.ipidea.net/?utm-source=yhf&utm-keyword=?yhf) +产品介绍： +1、覆盖220+的国家和地区，9000万真实住宅IP资源，汇聚成大规模代理服务池； +2、提供动态住宅代理、静态住宅代理、数据中心、移动代理等多种解决方案，满足电子商务、市场调查、抓取索引、网站测试、广告验证、seo监控优化等多个业务场景； +3、支持HTTP/HTTPS/Socks5协议； 4、真实住宅IP，支持从制定国家城市访问目标网站，隐藏真实网络环境，保护隐私，24小时持续过滤并更新，IP纯净度高，快速响应，无限并发，99.9%的成功率，确保高效稳定连接，让您的业务得心应手 -； +； 5、支持海量IP免费试用。 # spiderFile模块简介 From f9315ea9a0ec52e1e24aa62211ebfdd797903f2c Mon Sep 17 00:00:00 2001 From: yhf Date: Thu, 2 Mar 2023 19:02:48 +0800 Subject: [PATCH 08/12] Update README.md --- README.md | 9 --------- 1 file changed, 9 deletions(-) diff --git a/README.md b/README.md index 7dc2c5b..c54c2a1 100644 --- a/README.md +++ b/README.md @@ -30,15 +30,6 @@

-由于很多小伙伴都咨询IP代理的问题，在这里推荐大家一个好用的产品，[相关链接点击直达](http://www.ipidea.net/?utm-source=yhf&utm-keyword=?yhf) -产品介绍： -1、覆盖220+的国家和地区，9000万真实住宅IP资源，汇聚成大规模代理服务池； -2、提供动态住宅代理、静态住宅代理、数据中心、移动代理等多种解决方案，满足电子商务、市场调查、抓取索引、网站测试、广告验证、seo监控优化等多个业务场景； -3、支持HTTP/HTTPS/Socks5协议； -4、真实住宅IP，支持从制定国家城市访问目标网站，隐藏真实网络环境，保护隐私，24小时持续过滤并更新，IP纯净度高，快速响应，无限并发，99.9%的成功率，确保高效稳定连接，让您的业务得心应手 -； -5、支持海量IP免费试用。 - # spiderFile模块简介 1. [baidu_sy_img.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/baidu_sy_img.py): **抓取百度的`高清摄影`图片。** From fac1ffc9c9e6a04875b55d54cd67dbf72ac39db2 Mon Sep 17 00:00:00 2001 From: yhf Date: Thu, 17 Apr 2025 14:14:18 +0800 Subject: [PATCH 09/12] Update README.md --- README.md | 12 ++++++++++++ 1 file changed, 12 insertions(+) diff --git a/README.md b/README.md index c54c2a1..6f96817 100644 --- a/README.md +++ b/README.md @@ -30,6 +30,18 @@

+# IPWO全球代理资源 | 为采集、跨境与测试项目提供支持（免费试用，爬虫使用强烈推荐！！！） +### 官网地址 +[👉 访问 IPWO 官网](https://www.ipwo.net/?code=WSESV2ONN) +### 产品简介 +* 免费试用，先体验再选择 +* 9000万+真实住宅IP，覆盖220+国家和地区 +* 支持动态住宅代理、静态住宅代理（ISP） +* 适用于数据抓取、电商、广告验证、SEO监控等场景 +* 支持HTTP/HTTPS/SOCKS5协议，兼容性强 +* 纯净IP池，实时更新，99.9%连接成功率 +* 支持指定国家城市地区访问，保护隐私 + # spiderFile模块简介 1. [baidu_sy_img.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/baidu_sy_img.py): **抓取百度的`高清摄影`图片。** From db47c2a3efb062fb3ba228d73bf148701b30af7d Mon Sep 17 00:00:00 2001 From: yhf Date: Sat, 9 May 2026 11:11:26 +0800 Subject: [PATCH 10/12] Clean up README and update project details Remove ASCII art and update project description. --- README.md | 12 ------------ 1 file changed, 12 deletions(-) diff --git a/README.md b/README.md index 6f96817..c54c2a1 100644 --- a/README.md +++ b/README.md @@ -30,18 +30,6 @@

-# IPWO全球代理资源 | 为采集、跨境与测试项目提供支持（免费试用，爬虫使用强烈推荐！！！） -### 官网地址 -[👉 访问 IPWO 官网](https://www.ipwo.net/?code=WSESV2ONN) -### 产品简介 -* 免费试用，先体验再选择 -* 9000万+真实住宅IP，覆盖220+国家和地区 -* 支持动态住宅代理、静态住宅代理（ISP） -* 适用于数据抓取、电商、广告验证、SEO监控等场景 -* 支持HTTP/HTTPS/SOCKS5协议，兼容性强 -* 纯净IP池，实时更新，99.9%连接成功率 -* 支持指定国家城市地区访问，保护隐私 - # spiderFile模块简介 1. [baidu_sy_img.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/baidu_sy_img.py): **抓取百度的`高清摄影`图片。** From b9af210061c835499023d82e95cfaca98eff16d4 Mon Sep 17 00:00:00 2001 From: yhf Date: Tue, 12 May 2026 17:31:49 +0800 Subject: [PATCH 11/12] Revise README with project updates and new features Update README to include new project details and features. --- README.md | 13 +++++++++++++ 1 file changed, 13 insertions(+) diff --git a/README.md b/README.md index c54c2a1..ee46f57 100644 --- a/README.md +++ b/README.md @@ -30,6 +30,19 @@

+# 🚀 重磅福利｜Swiftproxy 全球代理 · 开发者必备 +Swiftproxy 代理服务 + +**🌍 全球顶级住宅代理网络，一站式解决爬虫/采集/自动化难题 [🔗官方入口](https://www.swiftproxy.net/?ref=PythonCrawler)** +- [x] **195+国家全覆盖**，**8000万+** 纯净住宅IP池 +- [x] **99.89%超高请求成功率**，稳定低延迟 +- [x] 流量永不过期，无强制月付，灵活随心用 +- [x] 原生支持 **HTTP(S)/SOCKS5** 双协议 +- [x] 智能IP轮换+精准地区定位，强效规避封锁 +- [x] 适配Python/Node/Go/PHP全语言，一键集成 +- [x] 免费试用开启，开箱即用零门槛 + +--- # spiderFile模块简介 1. [baidu_sy_img.py](https://github.com/yhangf/PythonCrawler/blob/master/spiderFile/baidu_sy_img.py): **抓取百度的`高清摄影`图片。** From a4ebdb9d446ec0c82548ce7d06391bb8e385ccfd Mon Sep 17 00:00:00 2001 From: yhf Date: Tue, 12 May 2026 18:56:08 +0800 Subject: [PATCH 12/12] Clean up README by removing unnecessary content Remove ASCII art and introductory text from README --- README.md | 12 ------------ 1 file changed, 12 deletions(-) diff --git a/README.md b/README.md index ee46f57..80111dd 100644 --- a/README.md +++ b/README.md @@ -30,18 +30,6 @@

-# 🚀 重磅福利｜Swiftproxy 全球代理 · 开发者必备 -Swiftproxy 代理服务 - -**🌍 全球顶级住宅代理网络，一站式解决爬虫/采集/自动化难题 [🔗官方入口](https://www.swiftproxy.net/?ref=PythonCrawler)** -- [x] **195+国家全覆盖**，**8000万+** 纯净住宅IP池 -- [x] **99.89%超高请求成功率**，稳定低延迟 -- [x] 流量永不过期，无强制月付，灵活随心用 -- [x] 原生支持 **HTTP(S)/SOCKS5** 双协议 -- [x] 智能IP轮换+精准地区定位，强效规避封锁 -- [x] 适配Python/Node/Go/PHP全语言，一键集成 -- [x] 免费试用开启，开箱即用零门槛 - --- # spiderFile模块简介