婆罗门
精华
|
战斗力 鹅
|
回帖 0
注册时间 2013-3-23
|
用python写一个爬取B站评论区的爬虫
ChatGPT 说：
ChatGPT
要编写一个爬取B站评论区的爬虫，通常可以使用 requests 和 BeautifulSoup 库来抓取页面数据，并结合 B站的 API 获取评论信息。B站的评论数据是通过 AJAX 动态加载的，所以需要从网络请求中提取评论内容。
以下是一个简单的示例代码，演示如何通过 B站的 API 获取某个视频的评论。
安装依赖库
首先，需要安装以下依赖库：
pip install requests
pip install json
爬虫代码示例
import requests
import json
# 获取视频的评论
def fetch_bilibili_comments(aid, page=1):
# 请求URL，aid是视频的av号或bv号，page是评论页数
url = f"https://api.bilibili.com/x/v2/reply/main?next={page}&type=1&oid={aid}&mode=3&plat=1"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
}
# 发送请求
response = requests.get(url, headers=headers)
if response.status_code == 200:
data = response.json()
if data["code"] == 0:
comments = data["data"]["replies"]
for comment in comments:
# 提取评论内容
username = comment["member"]["uname"]
content = comment["content"]["message"]
print(f"{username}: {content}")
else:
print("Error: Failed to fetch comments")
else:
print("Error: Request failed with status code", response.status_code)
# 输入你想要爬取的B站视频的av号
# 例如：AV号：123456789
aid = 123456789
fetch_bilibili_comments(aid)
代码说明
请求地址：B站的视频评论是通过 https://api.bilibili.com/x/v2/reply/main API 获取的，aid 为视频的 av 号（或者 bv 号），它是视频唯一的标识符。
oid 参数：是视频的 aid，用于获取该视频的评论。
分页：每次请求返回的评论会有限制，可以通过 next 参数获取后续评论，next 的值就是当前页码。
解析评论：评论数据是 JSON 格式的，我们可以通过 response.json() 解析出内容。每条评论有多个字段，其中 content.message 就是评论内容。
如何获取视频的 aid
可以直接从视频页面的 URL 获取：例如 https://www.bilibili.com/video/av123456789 中的 av123456789 即为视频的 aid。
你也可以通过 bv 号获取视频的 aid，通过 API 将 bv 号转换为 aid。
注意事项
频率限制：B站对请求有频率限制，确保你的爬虫请求间隔时间合理，避免被封禁。
反爬措施：B站可能会有一些反爬机制，可能需要模拟更多的请求头（例如 cookies）来绕过简单的反爬措施。
如果你需要进一步的帮助，比如处理分页，或者保存评论到文件，随时告诉我！ |
评分
-
查看全部评分
|
沪公网安备 31010702007642号 )
发表于 2025-1-7 16:48
