掃 Instagram 資料的服務
source link: https://blog.gslin.org/archives/2022/04/01/10638/%e6%8e%83-instagram-%e8%b3%87%e6%96%99%e7%9a%84%e6%9c%8d%e5%8b%99/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
掃 Instagram 資料的服務
在 Hacker News 首頁上看到「Scraping Instagram」這個掃 Instagram 資料的服務，討論在「Scraping Instagram (scrapingfish.com)」這邊。
文章裡面有提到一些 API 的技術細節，不過我覺得這塊倒不是重點，真正的重點應該是後端應該用了很多 IP 換來換去之類的技術在避開偵測...
另外這個服務讓我想到「HiQ Labs v. LinkedIn」這個案子 (之前寫過「hiQ 爬 LinkedIn 資料的無罪判決」)，不確定 Instagram 這邊會不會提起訴訟，另外看起來這家公司好像也不在美國？
收費的部份是每千次 US$2，考慮到那堆架構的成本與麻煩度，好像還可以...
Related
Social Network Search in Taiwan
事先說明：我是 Pixnet 的技術顧問，在這篇文章裡提到的這項服務與 Pixnet 以及 Pixnet 競爭對手有關。 網址：http://sn.hasname.com/。 前陣子看到「玩WARM人脈搜尋網 竟抓到劈腿男」這篇文章後，我第一個想法是「這個東西也能當研究？」，如果連這種幹壞事的事情都要教授指導才能研究的話... (後面三千字省略) 我在思考了一下整個架構後，似乎沒有技術上的問題，至於 Similiarity (好友相似度) 的部份，在 IRC 上跟 lwhsu 討論過後也已經知道方向在哪裡，就跳下去寫，看看要寫多久。Social Network Search in Taiwan 這個網站就是這樣的產物。 目前只做了無名小站的部份 (先跑一陣子看看)，未來希望能再加上其他站台。另外有打算直接開放 API (預定是 JSON 與 SOAP) 以及 feed (應該還是會用 RSS 2.0)。 以下補充一些題外話。 以我個人的習慣，系統當然還是 FreeBSD + Apache (不是 lighttpd) + MySQL + PHP 組成的 (FAMP 架構)，整個…
October 21, 2007In "Blog"
用 GitHub Actions 記錄 API 資料的變化
在 Hacker News Daily 上看到的方式，Simon Willison 利用了 GitHub Actions 定時去抓資料更新 git repository：「Git scraping: track changes over time by scraping to a Git repository」。 文章裡面測試了 JSON 檔案的變化： 這個方式利用了 GitHub 自家的架構做完所有的事情，因為他的範例是拉加州政府的資料，感覺 g0v 裡應該有些專案也用這個方式搞，翻了一下 Telegram 上的記錄，果然翻到記錄了：「零營運費用開源開發」。 另外我猜用 free-for.dev 這邊的資源應該也有機會堆出類似的東西...
October 12, 2020In "Computer"
便宜 VPS 主機的找法...
因為手上 side project 很多，有時候想要長期測一些東西，就需要租用性價比比較好的 VPS。 其中 VPS 的基準點應該是以 Linode、DigitalOcean 以及 Vultr 這幾家為主，而目前這幾家的基準點都是 RAM 的部份，目前是 1GB RAM VPS 約 $5/month。 如果你不想花太多時間在研究，選這幾家應該沒什麼問題，Linode 與 Vultr 都算是很不錯的方案。另外雖然 DigitalOcean 的 CPU 比較差，但可以看出他在非 IaaS 的服務上花了不少力氣，想要朝類似 AWS 的方向在走，如果你想要用到他們的服務，但又不想要用純正的 cloud service 的話 (通常是價位考量)，可以考慮看看他們家的服務。 另外一方面，因為我自己喜歡設定底層系統，所以會朝「便宜」的方向找 VPS (能設定的東西比起 Web Hosting 多很多)，然後因為機器數量愈來愈多，所以在我自己的 wiki 上整理了「Hosting」這個條目，之後就有些朋友看到價錢就會問怎麼找的... (像是 1.5GB RAM + 20GB Disk 一年只要…
January 7, 2019In "Computer"
Leave a Reply
Your email address will not be published. Required fields are marked *
Comment *
Name *
Email *
Website
Notify me of follow-up comments by email.
Notify me of new posts by email.
To respond on your own website, enter the URL of your response which should contain a link to this post's permalink URL. Your response will then appear (possibly after moderation) on this page. Want to update or remove your response? Update or delete your post and re-enter your post's URL again. (Learn More)
Post navigation
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK