如何利用爬虫爬微信公众号的内容?
发布网友
发布时间：2022-04-23 06:39
共2个回答
懂视网
时间：2022-04-28 08:54
【相关学习推荐：python教程】
1.安装wkhtmltopdf
下载地址:https://wkhtmltopdf.org/downloads.html
我测试用的是windows的，下载安装后结果如下
2 编写python 代码导出微信公众号文章
不能直接使用wkhtmltopdf 导出微信公众号文章，导出的文章会缺失图片，所以需要使用 wechatsogou 将微信公众号文章页面抓取，之后将html文本转化为pdf
pip install wechatsogou --upgrade
pip install pdfkit
踩坑！！！，看了很多人的代码，都是一个模板，大家都是抄来抄去，结果还是运行不了，可能是因为依赖包更新的原因，也可能是因为我本地没有配置wkhtmltopdf 的环境变量
import os
import pdfkit
import datetime
import wechatsogou
# 初始化API
ws_api = wechatsogou.WechatSogouAPI(captcha_break_time=3)
def url2pdf(url, title, targetPath):
'''
使用pdfkit生成pdf文件
:param url: 文章url
:param title: 文章标题
:param targetPath: 存储pdf文件的路径
'''
try:
content_info = ws_api.get_article_content(url)
except:
return False
# 处理后的html
html = f'''
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>{title}</title>
</head>
<body>
<h2 style="text-align: center;font-weight: 400;">{title}</h2>
{content_info['content_html']}
</body>
</html>
'''
try:
path_wk="E:/softwareAPP/wkhtmltopdf/bin/wkhtmltopdf.exe";
config=pdfkit.configuration(wkhtmltopdf=path_wk)
pdfkit.from_string(input=html, output_path=targetPath,configuration=config)
except:
# 部分文章标题含特殊字符，不能作为文件名
filename = datetime.datetime.now().strftime('%Y%m%d%H%M%S') + '.pdf'
pdfkit.from_string(html, targetPath + os.path.sep + filename)
if __name__ == '__main__':
# 此处为要爬取公众号的名称
url2pdf("https://mp.weixin.qq.com/s/wwT5n2JwEEAkrrmOhedziw", "HBase的系统架构全视角解读","G:/test/hbase文档.pdf" )
# gzh_name = ''
# # 如果不存在目标文件夹就进行创建
# if not os.path.exists(targetPath):
# os.makedirs(targetPath)
# # 将该公众号最近10篇文章信息以字典形式返回
# data = ws_api.get_gzh_article_by_history(gzh_name)
# article_list = data['article']
# for article in article_list:
# url = article['content_url']
# title = article['title']
# url2pdf(url, title, targetPath)相关学习推荐：微信小程序教程
热心网友
时间：2022-04-28 06:02
过程很繁琐，步骤如下：
1、写按键精灵脚本，在手机上自动点击公号文章列表页，也就是“查看历史消息”；
2、使用fiddler代理劫持手机端的访问，将网址转发到本地用php写的网页；
3、在php网页上将接收到的网址备份到数据库；
4、用python从数据库取出网址，然后进行正常的爬取。
如果只是想爬取文章内容，似乎并没有访问频率*，但如果想抓取阅读数、点赞数，超过一定频率后，返回就会变为空值，我设定的时间间隔为10秒，可以正常抓取，这种频率下，一个小时只能抓取360条，已经没什么实际意义了。
微信公众号数据储存
1、腾讯不对你在本服务中相关数据的删除或储存失败负责。
2、腾讯有权根据实际情况自行决定单个用户在本服务中数据的最长储存期限，并在服务器上为其分配数据最大存储空间等。你可根据自己的需要自行备份本服务中的相关数据。
3、如果你停止使用本服务或服务被终止或取消，腾讯可以从服务器上永久地删除你的数据。服务停止、终止或取消后，腾讯没有义务向你返还任何数据。
