Tumblr(网友戏称为“汤不热”,这回倒是可能真的要凉了)最近受到各大吃瓜群众的格外关注,主要是因为要关闭一些内容,目前这件事在国外还在持续发酵,至于本身遵纪守法的我们,可能影响不大。微魔最近看到有朋友在讨论相关的爬取脚本,就顺手和大家简单分享两个脚本。
两个Tumblr图片和视频的爬虫脚本
Tumblr上有很多值得学习的设计类资料,本文仅用于大家学习方便,请勿用于触犯法律/道德等不良领域,本站不对使用者的行为负责
本文的爬取脚本都是Python所写,请自行搜索安装教程(很多Linux镜像都要默认安装了python 2.7),若没有安装,可以用默认的yum或者apt-get命令安装即可
1. tumblr-crawler
Git地址:https://github.com/dixudx/tumblr-crawler
使用方法:
git clone https://github.com/dixudx/tumblr-crawler.git cd tumblr-crawler pip install requests xmltodict
修改sites.txt文件,加入想要下载的tumblr用户名,如vmvps1.tumblr.com和vmvps2.tumblr.com,直接在sites.txt文件里加入如下形式即可
vmvps1,vmvps2
运行脚本
python tumblr-photo-video-ripper.py
2. tumblr
有网友反馈该脚本容易崩,且因为没有错误的提示,所以分批次下载
Git地址:https://github.com/abbeyokgo/crawler-py/tree/master/tumblr
pip install requests
pip install requests xmltodict
下载脚本,修改脚本末尾(倒数第二行)处的字段names=[],如下格式
names=['vmvps1','vmvps2']
运行脚本
python tumblr.py
1脚本下载sky521视频会崩溃
感谢反馈,可以在github上给作者提交一下问题