2

爬虫爬 twitter 和 github 大家觉得现实不?

 1 year ago
source link: https://www.v2ex.com/t/897780
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

V2EX  ›  程序员

爬虫爬 twitter 和 github 大家觉得现实不?

  zhoudafa6780022 · 2 小时 57 分钟前 · 791 次点击

爬虫爬 twitter 和 github

设定关键词,搜索特定博主 /作者

大家觉得现实不?

10 条回复    2022-11-25 12:34:56 +08:00
SunsetShimmer

SunsetShimmer      2 小时 54 分钟前

好像都有 API ,技术可行。

需求可能不大。
limiter

limiter      2 小时 35 分钟前

爬 github 吃力不讨好,会用的都能自己访问,不会用的爬了也不会看,至于 twitter ,你爬了给谁用?不怕进局子?
zhoudafa6780022

zhoudafa6780022      2 小时 32 分钟前

@SunsetShimmer 有 API 吗?哪里搜索?不是需要需要很多账号才能完成的吗?
zhoudafa6780022

zhoudafa6780022      2 小时 32 分钟前

@limiter 要快速搜索,人工无法实现。。有脚本或软件,就会看!
SunsetShimmer

SunsetShimmer      2 小时 29 分钟前

@zhoudafa6780022 当然是有 API 使用限制的,大量调用恐怕不行。
ochatokori

ochatokori      2 小时 21 分钟前 via Android

github 直接用官方提供 api
推特官方 api 需要申请开发者,不申请开发者用普通用户网页 api 容易账号被封。

以前试过用游客账户网页 api 爬,除了一部分信息爬不到之外(推文和回复都可以)效果还行。
zhoudafa6780022

zhoudafa6780022      45 分钟前

@SunsetShimmer 就是要收集 twitter 和 github 博主主页上留有 tg 联系方式的一类。使用 API ,是否可行?
zhoudafa6780022

zhoudafa6780022      45 分钟前

@lzgshsj 想要收集 twitter 和 github 博主主页上 关键字+留有 tg 联系方式的一类

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK