python高性能编程怎么样(Python编程从入门到实践)

   2023-05-13 互联网0
核心提示:一、选择操作系统 高性能多任务编程需要选择合适的操作系统。因为windows下创建子进程是通过重新加载py程序文件;而linux和mac创建子进程是通过复制父进程的内存空间,所以在windows平台下运行多进程python程序的效率远不如在

python高性能编程怎么样(Python编程从入门到实践)

一、选择操作系统

高性能多任务编程需要选择合适的操作系统。因为windows下创建子进程是通过重新加载py程序文件;而linux和mac创建子进程是通过复制父进程的内存空间,所以在windows平台下运行多进程python程序的效率远不如在linux和mac平台下运行。要追求高性能多任务运行python程序的,推荐使用linux或mac操作系统。

二、分析任务类型

高性能多任务编程有三种方式:

    多进程,追求高运算:

任务类型:计算多IO少时,建议使用进程池的方式来编程。进程池中进程的数量一般推荐为CPU内核数的一至两倍。多进程程序运行时是并行执行。

常见任务:科学计算、数据分析等。

注意:创建进程开销极大,进程之间数据隔离,多进程存在数据不安全的情况,可规避所有IO。

    多线程,运用最多:

任务类型:IO多计算少时,建议使用线程池的方式来编程。线程池中线程的数量一般推荐为CPU内核数的四到五倍,至多不超过十倍。多线程程序运行时是并发执行(由于GIL锁造成python多线程执行时不能并行执行)。

常见任务:爬虫等。

注意:创建线程开销小,线程之间数据共享,多线程存在数据不安全的情况,可规避所有IO。

    协程,追求高并发:

任务类型:IO多计算少且需要大幅度提高并发数时,建议使用协程或多进程+多线程+协程的方式。

常见任务:爬虫、网络服务、web服务器等。

注意:创建协程开销极小,线程之间数据共享,多线程不存在数据不安全的情况,但只能规避部分IO。

三、Python解释器类型

目前大家用得最多的是CPython,它是用C语言实现的Python解释器,也是官方的并且是使用最广泛的Python解释器,它的软件包和兼容性最佳,CPython最新版本是3.9.1。官网是https://www.python.org/ 。

如果要追求高性能的话目前值得推荐的解释器是PyPy,PyPy提供了JIT编译器和沙盒功能,因此运行速度比CPython要快,它的软件包和兼容性不如CPython,Pypy最新版本是3.7。官网是https://www.pypy.org/ 。

四、注意事项

高性能多任务编程使用线程池的方式最多,要注意python线程编程的一个缺陷,即不能在线程外部关闭超时的线程。所以需要在任务内部对超时情况做处理。下面写一个简单的模拟爬虫案例:

代码:

from concurrent.futures import ThreadPoolExecutorimport requestsurl = [(\'csdn\', \'https://www.csdn.net/\'), (\'cnblogs\', \'https://www.cnblogs.com/\'), (\'baidu\', \'https://www.baidu.com/\'), (\'toutiao\', \'https://www.toutiao.com/\'), (\'google\', \'https://www.google.com/\')]def get(site): try: r = requests.get(site[1], timeout=5) # 设置超时时限为5秒 except requests.exceptions.ConnectTimeout: return site[0], \'超时\' return site[0], \'正常\'if __name__ == "__main__": p_list = [] with ThreadPoolExecutor(max_workers=5) as e: ret = e.map(get, url) for i in ret: print(f\'网站“{i[0]}”下载情况是“{i[1]}”\')

输出:

网站“csdn”下载情况是“正常”网站“cnblogs”下载情况是“正常”网站“baidu”下载情况是“正常”网站“toutiao”下载情况是“正常”网站“google”下载情况是“超时”

说明:

我们需要多任务执行的是get函数,它用来下载网页。在get中要对io操作进行超时预判,即超过5秒获取不到结果的网站放弃爬取。假设不设超时预判会导致线程一直反复爬取但一直获取不到数据而陷入死循环,极其影响整体影响效率。

总结:

因为python多线程无法从外部结束超时的线程,所以在多任务编程中要在函数内部对可能存在异常的任务做超时判断及处理。

 
反对 0举报 0 评论 0
 

免责声明:本文仅代表作者个人观点,与爱美生活网(本网)无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们留言联系,本网站将在规定时间内给予删除等相关处理.

点击排行