Repositories tagged with "spider"
EasySpider
NaiboWang
“A visual no-code/code-free web crawler/spider易采集：一个可视化浏览器自动化测试/数据采集/网页爬虫软件，可以无代码图形化的设计和执行爬虫任务。别名：ServiceWrapper面向Web应用的智能化服务封装系统。”
colly
gocolly
“Elegant Scraper and Crawler Framework for Golang”
proxy_pool
jhao104
“Python ProxyPool for web spider”
Douyin_TikTok_Download_API
Evil0ctal
“🚀「Douyin_TikTok_Download_API」是一个开箱即用的高性能异步抖音、快手、TikTok、Bilibili数据爬取工具，支持API调用，在线批量解析及下载。”
examples-of-web-crawlers
shengqiangzhang
“一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、微信读书、豆瓣、QQ等网站。(Some interesting examples of python crawlers that are friendly to beginners. )”
Photon
s0md3v
“Incredibly fast crawler designed for OSINT.”
crawlab
crawlab-team
“Distributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台，支持任何语言和框架”
spider-flow
ssssssss-team
“新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。”
DouyinLiveRecorder
ihmily
“可循环值守和多人录制的直播录制软件，支持抖音、TikTok、Youtube、快手、虎牙、斗鱼、B站、小红书、pandatv、sooplive、flextv、popkontv、twitcasting、winktv、百度、微博、酷狗、17Live、Twitch、Acfun、CHZZK、shopee等40+平台直播录制”
avbook
guyueyingmu
“AV 电影管理系统， avmoo , javbus , javlibrary 爬虫，线上 AV 影片图书馆，AV 磁力链接数据库，Japanese Adult Video Library,Adult Video Magnet Links - Japanese Adult Video Database”
InfoSpider
kangvcar
“INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱🧰，旨在安全快捷的帮助用户拿回自己的数据，工具代码开源，流程透明。支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN博客、开源中国博客、简书。”
awesome-web-scraping
lorien
“List of libraries, tools and APIs for web scraping and data processing.”
pholcus
andeya
“Pholcus is a distributed high-concurrency crawler software written in pure golang”
Anti-Anti-Spider
luyishisi
“越来越多的网站具有反爬虫特性，有的用图片隐藏关键数据，有的使用反人类的验证码，建立反反爬虫的代码仓库，通过与不同特性的网站做斗争（无恶意）提高技术。（欢迎提交难以采集的网站）（因工作原因，项目暂停） ”
awesome-crawler
BruceDone
“A collection of awesome web crawler,spider in different languages”
node-crawler
bda-research
“Web Crawler/Spider for NodeJS + server-side jQuery ;-)”
Wechatsync
wechatsync
“一键同步文章到多个内容平台，支持今日头条、WordPress、知乎、简书、掘金、CSDN、typecho各大平台，一次发布，多平台同步发布。解放个人生产力”
haipproxy
SpiderClub
“:sparkling_heart: High available distributed ip proxy pool, powerd by Scrapy and Redis”
