繞過 Web 上「防機器人」機制的資料
source link: https://blog.gslin.org/archives/2021/11/07/10406/%e7%b9%9e%e9%81%8e-web-%e4%b8%8a%e3%80%8c%e9%98%b2%e6%a9%9f%e5%99%a8%e4%ba%ba%e3%80%8d%e6%a9%9f%e5%88%b6%e7%9a%84%e8%b3%87%e6%96%99/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
繞過 Web 上「防機器人」機制的資料
這兩天的 Hacker News 冒出一些討論在講 Web 上「防機器人」機制要怎麼繞過：
第一篇主要是從各種面向都一起討論，從大方向的分類討論 (「Where to begin building undetectable bot?」)，另外介紹目前有哪些產品 (在「List of anti-bot software providers」這邊)。
在文章裡有提到一個有意思的工具「puppeteer-extra-plugin-stealth」，主要是在 Node.js 類的環境，查了一下在 Python 上也有 pyppeteer-stealth，不過 Python 版本直接講了不完美 XDDD
Transplanted from puppeteer-extra-plugin-stealth, Not perfect.
第二篇文章在開頭就提到他不是很愛 Proxy，因為 Proxy 很容易偵測。在文章最後面則是提到了兩個方案，第一個是用大量便宜的 Android 手機加上 Data SIM 來跑，另外一個是直接用 Android 模擬器加上 4G 網卡跑。
依照這些想法，好像可以來改善一下手上的 RSS 工具...
Related
利用 Cloudflare Workers 繞過 Cloudflare 自家的阻擋機制
在 Hacker News 首頁上看到「How to bypass Cloudflare bot protection (jychp.medium.com)」這則，裡面的文章是「How to bypass CloudFlare bot protection ?」這篇，利用 Cloudflare Workers 繞過 Cloudflare 自家的 CAPTCHA 機制。 這個漏洞有先被送給 Cloudflare，但被認為不是問題，所以作者就決定公開： Several months ago I submitted what appeared to be a security flaw to CloudFalre’s bugbounty program. According to them, this is not a problem, it’s…
April 5, 2021In "CDN"
B2 的 Application Key
來講個 Backblaze 放出來一陣子的功能：「What’s New In B2: Application Keys + Java SDK」。 B2 的價位很便宜 (單位成本比 S3 低不少)，加上前 10 GB 屬於 free tier 不收費，拿來丟一些資料還蠻方便的。 以往的 B2 在 API 操作只提供一把 master key，安全性上需要很小心，只要被攻陷就直接打穿了，現在則是提供 application key 操作，但不像 AWS 的 IAM 那樣可以在一個 key 上設很多權限。B2 提供的架構很簡單，只能針對一個 bucket 設定權限。這應該是解決 B2 最常見的情境？也就是需要在各機器上分別備份... 另外摸索了一陣子後才確認用法，在文章的 comment 有提到： You use the ApplicationKeyID…
August 17, 2018In "Computer"
證明圓周率 π 是無理數
前陣子在 Michael Penn 教授的 YouTube 頻道上看到的證明： 這個證明方式在其他人的 YouTube 頻道也有做過，像是 MindYourDecisions 在 2019/3/14 (Pi Day) 發表的影片： 這兩篇使用的方法是 Ivan M. Niven 在 1946 年提出來的方法 (發表在 1947 年 AMS 的期刊，第 53 期的 Bulletin of the American Mathematical Society 上)：「A simple proof that π is irrational」。 先不討論證明方法本身，我把這份 PDF 印出來慢慢看，當年用打字機打的字型讀起來超有味道的... (這份 PDF 看起來是掃描檔) 從 PDF…
September 6, 2020In "Murmuring"
Author Gea-Suan LinPosted on November 7, 2021Categories Computer, Hardware, Murmuring, Network, ServiceTags 4g, address, android, anti, bot, data, detection, ip, mobile, network, plugin, proxy, scrape, sim, stealth, web Leave a Reply Cancel reply
Your email address will not be published. Required fields are marked *
Comment
Name *
Email *
Website
Notify me of follow-up comments by email.
Notify me of new posts by email.
Post navigation
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK