11

12款开源情报(OSINT)检索工具盘点

 2 years ago
source link: https://netsecurity.51cto.com/article/714916.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

12款开源情报(OSINT)检索工具盘点-51CTO.COM

12款开源情报(OSINT)检索工具盘点
2022-07-27 11:27:50
以下整理了目前业界常用的12种功能强大的OSINT工具,即便是非专业安全人员,也能够轻松使用。
813e7dc595f958e8f3c0743cb46aabb9135e42.png

互联网上存在很多开源情报(Open-Source Intelligence,OSINT)信息,其中开源是指公众容易获取和分发的信息或程序;情报是获取和应用知识的能力。总的来说,开源情报就是从公开来源获取、收集和分析信息以产生有价值情报的过程,其来源包括互联网、社交媒体、学术和专业期刊、报纸、电视甚至某些被违规泄露的数据。

在这个信息大爆炸的时代,OSINT对于深度依赖有效信息获取的安全防护工作显得尤为重要。如果被合理利用,这些数据将能帮助分析师更准确了解事件的真相。然而,手动检索开源情报是一项艰巨的任务,有太多的记录和数据需要处理。值得庆幸的是,市场上存在许多工具可以自动化完成开源情报信息的搜集。以下整理了目前业界常用的12种功能强大的OSINT工具,即便是非专业安全人员,也能够轻松使用。

1、O​SINT Framework​

图片

OSINT Framework是一个包含不同工具的网站,用户可以使用这些工具在不同的系统和知识库中查询开源情报信息,包括电子邮件地址、社交媒体、域名、搜索引擎、公共记录、文档甚至电话号码等。

比如用户想了解“社交媒体”相关信息,OSINT Framework就会将其细分出子部分列表,如Facebook、Twitter、Instagram、Reddit、LinkedIn等,用户可以进一步选择子分类,其中就会包含搜索、分析、图片、位置和存储/删除的推文等。当选择“分析”后,它还会呈现推文元数据、Birdwatcher、Tinfoleak等细分部分。

应用链接:https://osintframework.com/。

2、 Wayback Machine

Wayback Machine被称为互联网的数字档案馆。它用于管理、捕获和归档网站在一段时间内的快照,即使原始网页被删除或改动,用户仍然可以查阅曾经的网页快照。目前,Wayback Machine每天收到的请求数(包括查阅和存档请求)超过10亿次,累计已经缓存了近7000亿个不同时刻下的各种网页页面。

用户可以通过Wayback Machin的“保存页面”服务存档上亿个网站,如果注册了免费账户,还可以要求抓取相关页面的“外部链接”(outlink),并通过电子邮件接收抓取情况的报告。

当需要回溯历史信息时,Wayback Machin会以 “年份选择器”和“日期选择器”的形式向用户呈现该网站的所有保存记录。如果想比较两个不同网页存档之间的差异,可以使用Wayback Machin的“查阅改动”(Changes)功能来实现这一点。

应用链接:http://www.wayback.com。

3、Maltego

Maltego主要通过使用开源情报技术查询诸如DNS记录、whois记录、搜索引擎、社交网络、各种在线API和元数据提取之类的源头,从而发现这些信息之间的链接。Maltego程序通过自动搜索不同的公共数据源来工作,因此用户可以单击一个按钮并执行多个查询,每次执行的查询可以返回多达12个实体。由于该程序使用公共接口来执行搜索,因此它几乎可以与任何具有公共接口的信息源兼容。

一旦收集到信息,Maltego就会建立链接,以展现姓名、电子邮件地址、别名、公司、网站、文档所有者、附属机构和其他可能对调查有用的信息之间的隐藏关系,或寻找潜在的未来问题。它可以在Windows、Linux 和 Mac上下载,并且预装在Kali Linux中。

该程序有一个免费版本,功能有限,称为Maltego CE。Maltego PRO版本主要针对专业调查人员和小型团队的计划,包括Maltego One桌面、所有Maltego标准转换,以及访问商业转换中心(查看所有功能的完整列表)。

应用链接:https://www.maltego.com/。

4、 Have I Been Pwned

图片

Have I Been Pwned是Troy Hunt创建的免费网站资源,该网站收集了大量被拖库的数据库,可供用户查询自己的个人信息是否因数据泄露受到损害。用户只需在搜索框中输入要查询的姓名或电话号码,它就会搜索泄露数据库以查看对应的凭据是否已遭泄露。如果发现相关泄露事件,下滑页面就可以看到泄漏的信息。

应用链接:https://haveibeenpwned.com/。

5、 Shodan

图片

Shodan是一个专用搜索引擎,用于搜索互联网和连接到它的不同网络服务器。这意味着使用Shodan,用户就可以浏览其数据库以查找连接到互联网的设备,例如路由器、物联网(IoT)设备、监视器、安全摄像头、交通信号灯等。

作为一款功能强大的OSINT工具,Shodan可以监控和搜索的范围体量令人震惊。它是少数能够检查操作技术(OT)的引擎之一。如果没有像Shodan这样的工具,想要在部署IT和OT的行业中收集开源情报会存在很大的缺失。

Shodan创建账号是免费的,但是可以免费查询到的信息少得可怜。如果要进一步查询更多的信息,用户需要购买Shodan的会员服务。除了个人版本,Shodan还推出了小型企业版和企业高级版的收费版本,其中小型企业可扫描多达65,536个IP地址,并返回多达两千万个结果;企业高级版提供无限的返回结果以及每月最多327,680个IP扫描,还包括漏洞搜索过滤器和高级支持等服务。

应用链接:https://account.shodan.io/。

6、ZoomEye

图片

ZoomEye是由我国安全公司知道创宇(Knownsec Inc.)创建的搜索引擎。最初上线时,很多人将ZoomEye视为国内版本的Shodan,但实际上ZoomEye和Shodan还是有差别的,因为ZoomEye除了设备指纹的扫描以外,还增加了对域名和Web服务器的指纹扫描,包括前端框架、后端框架、服务端语言、服务器操作系统、网站容器、内容管理系统和数据库等。

ZoomEye 拥有两大探测引擎:Xmap 和 Wmap,通过持续性的探测、识别,可有效标识出互联网设备及网站所使用的服务及组件。研究人员可以通过ZoomEye方便地了解网络资产分布情况及漏洞的危害范围等信息。

应用链接:https://www.zoomeye.org/。

7、TinEye

TinEye是Idée公司所开发的一个反向图像搜索和图像识别网站,2008年就已经正式上线应用。它使用计算机视觉、模式识别、神经网络和机器学习来提供快速准确的搜索解决方案。要使用TinEye,只需将用户想要获取信息的图像上传到网站即可。该站点将获取有关图片位置、来源、使用甚至更高分辨率的信息。

应用链接:www.TinEye.com。

8、Censys Search

Censys Search是一个基于网络的搜索引擎,其创建之初的目的主要是用作学术研究,自身定位也是一个公益项目,由密歇根大学和Rapid7公司合作完成。Censys官网上这样定义该搜索引擎:“Censys Search是一款搜索引擎,它允许计算机科学家了解组成互联网的设备和网络。Censys由互联网范围的扫描驱动,使得研究人员能够找到特定的主机,并能够将设备、网站和证书的配置和部署信息创建到一个总体报告中。”像Shodan一样,它会在互联网上搜索服务器以及联网设备。此外,它还能够识别联网的工业控制系统和平台。

应用链接:https://censys.io。

9、BuiltWith

BuiltWith是一款用于发现流行网站构建技术和编程语言的工具。它是一个网站分析器、商业智能(BI)、潜在客户生成和竞争分析工具。BuiltWith还会生成一个网站使用的已知JavaScript/CSS库(例如jQuery或Bootstrap)的完整列表。此外,该服务还提供安装在网站上的插件列表、框架、服务器信息、分析和跟踪信息等。在实际应用中,如果将BuiltWith与WPScan等网站安全扫描程序结合使用,可以让安全人员更容易发现影响网站安全的常见漏洞。

应用链接:https://builtwith.com/。

10、 Nmap

Nmap是一款免费的网络和端口扫描器,用于发现在网络或网站上运行的服务操作系统、主机和开放端口。它在Web上可用,并且在大多数常见操作系统上都能被支持。

Nmap的功能包括:

• 主机发现:识别网络上的主机。

• 端口扫描:枚举目标主机上的开放端口。

• 版本检测:询问远程设备上的网络服务以确定应用程序名称和版本号。

• OS检测:确定网络设备的操作系统和硬件特性。

• 脚本交互:使用Nmap脚本引擎(NSE)和Lua编程语言。

应用链接:https://nmap.org/。

11、Recon-ng

图片

Recon-ng是一款基于python开发,通过命令行来操作的信息收集工具。Recon-ng可以进行DNS信息收集、域名信息收集、邮件信息收集、结合搜索引擎进行信息收集,是一个功能强大的Web侦察框架。

Recon-ng采用模块化设计框架,具有许多内置功能,使得即便是最初级Python开发人员也可以创建公开可用数据搜索并返回良好的结果。开发人员无需编写Recon-ng脚本来执行搜索,只需选择他们希望其执行的功能,就可以在几分钟内构建一个自动化模块。

应用链接:https://bitbucket.org/LaNMaSteR53/recon-ng。

12、 The Harvester

图片

The Harvester是一款开源情报工具,用于收集有关电子邮件、网站、子域、开放端口、虚拟主机等信息。The Harvester使用的来源包括流行的搜索引擎,如Bing和Google,以及较少见的搜索引擎,如dogpile、DNSdumpster和Exalead元数据引擎。它甚至可以利用Shodan搜索引擎来寻找已发现主机上的开放端口。

The Harvester无需任何特殊准备即可访问大多数公共资源。但是,其使用的部分功能需要API密钥。此外,用户的使用环境中还必须有Python 3.6或更高版本。

应用链接:https://github.com/laramies/theHarvester。


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK