wkunzhi/Python3-Spider

Python

Python爬虫实战 - 模拟登陆各大网站包含但不限于：滑块验证、拼多多、美团、百度、bilibili、大众点评、淘宝，如果喜欢请start ❤️

scrapypythoncrawlcrawlergeekspidertaobaodianpingmeituanseleniumpyppeteersplash

Key Metrics

Star Growth

Stars

3.4k

Forks

Weekly Growth

—

Issues

1k2k3k

Mar 2019May 2020Aug 2021Nov 2022Feb 2024Apr 2025Jul 2026

ArtifactsPyPIpip install python3-spider

README

Python3 爬虫实战

python3 spider

简介

包含几十个 python3 爬虫实战案例。如果喜欢请 star 与 fork，这是对我继续更新下去的最大支持

Author	Zok
Email	362416272@qq.com
博客	https://www.zhangkunzhi.com

QQ讨论群

Python 爬虫实战

字体加密

天眼查 | 大众点评 | 谷雨

验证码【仅作学术讨论】

w3c-滑块 | 腾讯-滑块识别｜腾讯滑块拖动 selenium

参数生成

自动登录

淘宝 | 5173平台 | 房天下 | Glidesky | 中关村 | 9377平台 | 逗游 | GitHub | 万创帮 | 空中网 | 易通贷 | DNS | TCL金融 | 国鑫所 | 满级网 | 试客联盟 | 人人网 | 豆瓣网 | 天翼

其他实战

原创工具

此工具包在我另外一个项目中，欢迎 star

【推荐】爬虫练习网

一个很不错的爬虫练习题网，内涵十几个爬虫题目，由浅到深涵盖 ip反爬、js反爬、字体反爬、验证码 等题目。安利给大家，博主已撸完。

登录网址 http://www.glidedsky.com/login
题分排行榜 http://www.glidedsky.com/rank

##淘宝：自动登录

自动登录

打开 auto_login_pyppeteer.py Run 代码，输入淘宝账号、密码即可自动登录

##文书网app

《入门级安卓逆向 - 文书网app爬虫教程》

美女壁纸下载器

双色球头奖分布词云

双色球头奖

工具：解码器

可拓展式编码转换器

滑块还原识别

可拓展式编码转换器

腾讯滑块缺口识别

缺口识别

QQ 讨论群

Related repositories

crawlab-team/crawlab

Distributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台，支持任何语言和框架

GoGo ModulesBSD 3-Clause "New" or "Revised" Licensewebcrawlerscrapy

crawlab.cn

12.2k1.9k

lining0806/PythonSpiderNotes

Python入门网络爬虫之精华版

PythonPyPIpythonzhihu

7.5k2.2k

chyroc/WechatSogou

基于搜狗微信搜索的微信公众号爬虫接口

PythonPyPIApache License 2.0wechatsogou

6.3k1.7k

rmax/scrapy-redis

Redis-based components for Scrapy.

PythonPyPIMIT Licensescrapycrawler

scrapy-redis.readthedocs.io

5.6k1.6k

DropsDevopsOrg/ECommerceCrawlers

实战🐍多种网站、电商数据爬虫🕷。包含🕸：淘宝商品、微信公众号、大众点评、企查查、招聘网站、闲鱼、阿里任务、博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评、携程、小米应用商店、安居客、途家民宿❤️❤️❤️。微信爬虫展示项目:

PythonPyPIMIT Licensepython3crawler

wechat.doonsec.com

5.6k1.4k

SpiderClub/haipproxy

:sparkling_heart: High available distributed ip proxy pool, powerd by Scrapy and Redis

PythonPyPIMIT Licensehigh-availabilityscrapy

spiderclub.github.io/haipproxy/

5.5k899

nghuyong/WeiboSpider

持续维护的新浪微博采集工具🚀🚀🚀

PythonPyPIMIT Licensescrapypython

4.1k837

Boris-code/feapder

🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapder是一款上手简单，功能强大的Python爬虫框架。内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。且支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。更有功能强大的爬虫管理系统feaplat为其提供方便的部署及调度

PythonPyPIOtherscrapyfeapder

feapder.com

3.7k545

Gerapy/Gerapy

Distributed Crawler Management Framework Based on Scrapy, Scrapyd, Django and Vue.js

PythonPyPIMIT Licensescrapydistributed

docs.gerapy.com

3.5k646

my8100/scrapydweb

Web app for Scrapyd cluster management, Scrapy log analysis & visualization, Auto packaging, Timer tasks, Monitor & Alert, and Mobile UI. Docs 文档 :point_right:

PythonPyPIGNU General Public License v3.0scrapyscrapyd

github.com/my8100/files

3.4k583

scrapy-plugins/scrapy-splash

Scrapy+Splash for JavaScript integration

PythonPyPIBSD 3-Clause "New" or "Revised" Licensescrapyheadless-browsers

3.2k456

CodeRayZhang/Movie_Recommend

基于Spark的电影推荐系统，包含爬虫项目、web网站、后台管理系统以及spark推荐系统

JavaMavenMIT Licensespark-mllibspark-streaming

3k1.1k