借用Tornado实现高效的WebQQ机器人
source link: https://www.linuxzen.com/jie-yong-tornadoshi-xian-gao-xiao-de-webqqji-qi-ren.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
之前有写过一篇文章介绍使用Pyxmpp2
桥接QQ和xmpp的文章(这里).后来我打算将WebQQ单独出来运行, 一开始直接拷贝了pyxmpp2
的mainloop, 但是跑起来问题多多, 所以我又研究了利用Tornado
进行网络编程(这里), 所以我放弃了Pyxmpp2
的mainloop,使用Tornado
进行重写
首先放出项目代码
WebQQ协议是一套基于HTTP
的QQ协议, 而用Python
的urllib2
库进行请求太慢, 因为HTTP本身就使用socket请求, 所以改用多路复用I/O模型, 而Tornado
简单高效, 看过代码后可以轻松上手.平台兼容性很好, 所以选择Tornado
作为网络框架.
首先实现了一个 HTTPStream
类, 其主要接口是add_request
方法, 它接受一个必选参数:request
是一个 urllib2.Request
的实例, 和一个可选参数:readback
是一个接受一个urllib2.urlopen(request)
返回的Response
参数的读取函数, 代码如下:
class HTTPStream(object):
# 省略若干代码
def add_request(self, request, readback = None):
if not isinstance(request, urllib2.Request):
raise ValueError, "Not a invaid requset"
# 此处易触发timeout异常, 省略处理异常代码
sock, data = self.http_sock.make_http_sock_data(request)
fd = sock.fileno()
self.fd_map[fd] = sock
self.fd_request_map[fd] = request
callback = partial(self._handle_events, request, data, readback)
self.ioloop.add_handler(fd, callback, IOLoop.WRITE)
HTTPStream.add_request
将urllib2.Request
的实例解析出一个socket
和一个用于socket
发送的数据.前面文章介绍过了, tornado.ioloop.IOLoop.add_handler
用于将注册socket, 其需要三个参数: socket的文件描述符, 接受文件描述符和事件参数的回调, 和注册的事件.
我们用到的回调是HTTPStream._handle_events
:
class HTTPStream(object):
# 省略若干代码
def _handle_events(self, request, data, readback, fd, event):
""" 用于处理Tornado事件
Arguments:
`request` - urllib.Request
`data` - socket要写入的数据
`readback` - 读取函数
以上参数应当使用partial封装然后将此方法作为IOLoop.add_handler的callback
`fd` - IOLoop传递 文件描述符
`event` - IOLoop传递 tornado
"""
s = self.fd_map[fd]
if event & IOLoop.READ:
# 省略错误处理
resp = self.http_sock.make_response(s, request)
args = readback(resp)
s.setblocking(False)
if args and len(args) == 3:
t = threading.Thread(target = self.add_delay_request, args = args)
t.setDaemon(True)
t.start()
if args and len(args) == 2:
self.add_request(*args)
self.ioloop.remove_handler(fd)
if event & IOLoop.WRITE:
s.sendall(data)
if readback:
self.ioloop.update_handler(fd, IOLoop.READ)
else:
self.ioloop.remove_handler(fd)
if event & IOLoop.ERROR:
pass
它接受的参数上面注释写的很清楚, 不做解释, 所以将此方法通过functools.partial
封装做为callback
传递给tornado.ioloop.IOLoop.add_handler
, 并注册为写
事件, 以便发送HTTP
请求.
HTTPStream._handle_events
用于处理事件, 当事件为写时就发送HTTP
请求(根据urllib2.Request
生成的用于发送的数据), 并判断是否有读取函数, 有则注册读
事件, 当事件为读时就从socket中构建一个Response
并传递给读取函数, 读取函数会返回3个值, 分别为: 下一个请求, 请求的读取函数(可为None, 为None则只请求不读取), 下一个请求的延迟(多长事件后添加此请求, 可选, 单位为秒)
依据读取函数返回的三个值来确定下一个请求, 并完成一系列的请求. 更加完整的代码请参见文章开头给出的项目代码
HTTPStream.http_sock.make_response
执行时会将socket
设为阻塞, 因为不设置阻塞会出现httplib.BadStatusLine
异常.读取函数执行完毕,重新将socket
设置为非阻塞, 并移除此socket
(虽然做了这样的处理但是QQ连接时间稍长还是会触发httplib.BadStatusLine
异常)
2013-04-26 更新
- 解决 在线时间稍长, 当经过多次请求后会触发
socket.gaierror(-2, 'Name or service not known')
异常
- 没有重试机制
Recommend
-
10
借用UAC完成的提权思路分享 猎豹科学院
-
6
webqqircd——用IRC客户端控制WebQQ 代码:https://github.com/MaskRay/webqqircd webqqircdwebqqircd类似于bitlbee,在WebQQ(SmartQ...
-
12
译者注:这是我学习 Rust 生命周期对我最有帮助的文章之一,故翻译了一下。 原文链接:Rust Borrow and Lifetimes。 Rust 是一门处...
-
5
去掉 WebQQ 和 163 邮箱中讨厌的 UI 元素 本文来自依云's Blog,转载请注明。 这两天 WebQQ 的右上角又...
-
9
请不要把我仓库京东脚本用在淘宝、咸鱼、拼多多等平台进行商业谋利,请认真阅读Readme特别说明,谢谢配合。否则我会删库跑路。 后期...
-
2
学习笔记,对标cpp理解下rust所有权以及借用的概念,顺便提下比较特殊的切片(DST) 所有权Ownership rust中每个值都有一个所有者变量,并且同一时间只有能一个所有者,当值的所有者变量超出作用域,值的内存会被释放。 ...
-
6
GM 脚本:和WebQQ的滚动标题栏说再见 本文来自依云's Blog...
-
3
够疯狂!原担保公司员工借用他人名义等方式骗贷3800万元 2021-09-14 16:24:28 作者:文聪 来源:柒闻网 日前,中...
-
11
借用 Outlook 寄送電子郵件-黑暗執行緒分享我常用的一則 PowerShell 私房小技巧 - 在 Windows 桌面環境透過 Outlook 寄信。 面對一堆煩人的日常瑣事,我習慣用 PowerShell 寫些自動化或半自動化小幫手程式,替我完成枯燥又沒營養的人工作業,應用情境中...
-
5
Home Menu...
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK