4

多亏学了这个python库,一晚上端掉了一个传销团伙。。。

 2 years ago
source link: http://www.justdopython.com/2022/09/11/python-level/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

多亏学了这个python库,一晚上端掉了一个传销团伙。。。

2022-09-11

| python

“这是从他们窝点电脑里导出的一份数据,你先看看能不能找出什么端倪,我再去找几个人问问话。”王队丢给我一个u盘,拿起饭盒胡乱塞了几口饭,便拎起帽子快步走出了办公室。

20220911142310.jpg

今晚我们根据情报,前往一处传销窝点实施了抓捕行动,一次性逮捕了十几个人。但现场没有发现什么重要证据,抓到的几个人也缄口不言,现在没法知道他们是否还有其他的窝点,也不知道他们的上线是谁在哪里。而此时我手中的这份文件,可能就会成为破局的关键。

我开始观察起这份人员名单:invite_id字段是不重复的,应该和人名是一对一的关系;而invited_id重复的很多,而且基本都是在invite_id出现过的数据,所以我们基本可以推断出,这是一份记录传销组织上下线关系的名单。数据足有数百条之多,可见这是一个不小的犯罪组织。

20220911142311.gif

不到一个小时的功夫,王队回来了。

“没用,还是死鸭子嘴硬。”王队倒在椅子上,看了一眼时间,已经快到十二点了。“那份数据看的怎么样了,有没有找到什么线索?”

“这是一个很大的组织,总成员数有好几百,我们现在可能只抓到了冰山一角啊。”

“这对传销组织来说也正常,毕竟他们需要不断发展下线。”王队走到我的工位前,“所以我们现在的任务是先找到他们的上线,擒贼先擒王。但今晚抓到的这群人都审不出东西来,虽然能确定他们的身份,暂时也还是确定不了他们之间的关系啊。”

“你说他们之间的关系?”我突然想起前段时间看到的networkx这个库,这次说不定能派上用场。“交给我了,给我五分钟时间。”

首先用pandas导入文件中的数据,并筛选出我们需要的部分:

df = pd.read_excel('./doc/1_evidence.xls')
df = df.loc[:, ['id','name','invite_id','invited_id']]
df.columns = ['id','title','to', 'from']

然后调用networkx库,生成层级关系图并导出:

G = nx.from_pandas_edgelist(df, 'from', 'to', create_using=nx.DiGraph())

nt = net.Network('960px', '1280px', directed=True)
nt.from_nx(G)
nt.show('1_evidence.html')

这样我就得到了这份文件对应的层级关系图,上下线关系瞬间一目了然了:

20220911145715.png

一瞬间王队露出了惊喜的神色,但很快又恢复了严肃:“你这个是不是有点华而不实啊,虽然看着挺直观,但你能从里面找到谁是这个组织的最上级吗?”

这当然难不倒我,最上级也就是树的根节点,必然是没有其他的点指向它的,所以我们只要遍历所有节点,找到入度为0的点就可以了。

# 找到根节点
top_node = []
for node, degrees in G.in_degree():
    if degrees == 0:
        top_node.append(node)
print('Big Boss:', top_node)

“Big Boss: [100000]” 屏幕上出现了这样的输出。“100000这个编号在表中没有对应的人,但100000下只有一个编号162385的下线,他应该就是这个组织的头头了。”

“不错,要的就是这个!我去让其他同事找这个人的信息,你继续研究数据,把和这个人走的近的人全部找出来!”

这想必也不是难题,既然根节点已经找到了,我们便可以得到所有节点各自所在的层数。

# 设置所有节点级别
l = nx.shortest_path_length(G, 100000)
nx.set_node_attributes(G, l, 'level')

# 计算每级人员数目
data = {}
for node, level in l.items():
    if level in data.keys():
        data[level].append(node)
    else:
        data[level] = [node]
for level, nodes in data.items():
    print(level, len(nodes))

这个组织竟然已经足足发展了36层,想想真是让人直冒冷汗,还好及时被发现了。

然后根据层级给节点标注颜色,方便观察:

# 添加颜色
for node in G.nodes:
    G.nodes[node]['title'] = str(node)
    level = G.nodes[node]['level']

    if level == 0:
        G.nodes[node]['color'] = 'red'
    elif level == 1:
        G.nodes[node]['color'] = 'orange'
    elif level == 2:
        G.nodes[node]['color'] = 'yellow'

20220911151834.png

可以看到这个编号162385的人,自己只有两个下线,而这两个下线每人都各自另外发展了几十个下线,想想还蛮有意思。

“找到了!”王队回到办公室,虽然仍是一脸严肃,但也难掩心中的喜悦。“三个人都找到了,都在今晚逮捕的这群人里面,他们也都承认了,现在正在重点审。”

“你今晚立了件大功啊!”王队走过来拍了拍我的肩膀。“不过现在还没完,根据他们的口供,文件里的就是他们组织的全部人员信息了。你现在把他们发展下线最多的几个人给我找出来,我们根据信息,立刻安排定点抓捕。”

跟之前差不多,我只需要遍历所有节点的出度数,然后排序,取前几项就可以了。

# 给下线前十的目标添加颜色
degrees = G.out_degree()
top_nodes = sorted(degrees, key=lambda x: x[1], reverse=True)[:10]
print(top_nodes)

for node in top_nodes:
    G.nodes[node[0]]['color'] = 'green'

然后给目标节点加上颜色,方便观察,最终得到了这样的关系图:

20220911154521.png

“干得不错,只要再把这几个人抓到,就相当于切断了这个组织的大动脉,后面的慢慢收尾就可以了。”王队把文件合上,笑着对我说。“没想到你还有这本事,真是后生可畏呀!”

“今天抓到的那三条大鱼,现在审出什么结果了?”相对于其他,我还是对案情本身更感兴趣。

“哈哈别提了,都快笑死我了。这仨人一看见证据直接慌了神了,开始互相推卸责任,老大说人全是另外两个人拉来的他都没参与,另外俩人说事情全是老大策划的他俩就是打工的,现在估计还在吵着呢…”

(本文背景情节数据均为虚构,如有雷同纯属巧合) (公众号后台回复“乌鸦”,获取代码和实验数据)


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK