python十个常用模块
Python 的运行速度快吗?虽说不同场景不同定论,但整体而言,它没有 C、Java 快。这也导致 Python 凭借可读性、简单易上手、良好的生态系统横行 AI 领域时,一提到速度,就成为众多开发者头疼的问题。
为了解决这一难题,麻省理工学院的计算机科学家出手了,他们共同研发了一种名为 Codon 的 Python 编译器,可以将 Python 代码转化为本地机器代码,而不会对运行时的性能产生影响。
当前,Codon 已经在 GitHub 上开源:https://github.com/exaloop/codon,斩获 6300 个 Star。
Codon 与 C/C++ 性能相当
"在单线程上,比 Python 的典型速度提高了 10-100 倍或更多,"Codon repo写道,"Codon 的性能通常与 C/C++ 的性能相当(有时甚至更好)。"
与 Python 不同的是,Codon 支持本地多线程,这可以使速度提高许多倍。
Codon 最初是作为一个在 Python 中创建高性能特定领域语言(DSL,domain-specific language)的框架而开发的。DSL 是专注于特定目的的语言,而不是像 Python 或 C 这样的通用编程语言。
据官方 GitHub repo 透露,Codon 源于 Seq 项目,后者是一个用于生物信息学和遗传学的 DSL,现如今它已经成长为一个与 Python 3 基本兼容的语言编译器。
近期,外媒 The Register 通过该工具的研究团队内部最新分享了一个关于 Codon 的论文。本论文的作者包含了,MIT、维多利亚大学等多名研究人员,如 Ariya Shajii(Exaloop)、Gabriel Ramirez(MIT CSAIL)、Haris Smajlović(加拿大维多利亚大学)、Jessica Ray(MIT CSAIL)、Bonnie Berger(MIT CSAIL)、Saman Amarasinghe(MIT CSAIL)和 Ibrahim Numanagić(维多利亚大学)。
这篇论文指出,"与其他面向性能的 Python 实现(如 PyPy 或 Numba)不同,Codon 是作为一个独立的系统从头开始构建的,它可以提前编译为静态可执行文件,并且不与现有的 Python 运行时(如 CPython 或 RPython)绑定执行。因此,Codon 可以实现更好的性能,并克服运行时的特定问题,如全局解释器锁"。
在论文中,作者也讨论了各种基于 Codon 的高性能 DSL,这些 DSL 设计用于生物信息学、数据压缩和并行编程,也利用了 Codon 的编译器基础设施。但是 Codon 可以大幅加速标准的 Python 程序,尽管那些依赖外部库(如 Django 或 DocUtils)的程序必须依赖 CPython 桥接,这就限制了 CPython 的性能。
"Codon 不需要使用像 numpy 这样的 C 语言实现的库来重写程序,也不需要完全用 C 语言重写,而是可以使用相同的 Python 实现,并给出你用 C 语言重写的相同性能",麻省理工学院教授和 CSAIL 首席研究员 Saman Amarasinghe说 道,"因此,我相信 Codon 是成功的 Python 应用程序的最简单的前进道路,这些应用程序由于缺乏性能而达到了一个极限。"
测试
那么 Codon 是否真的如说的那样快?在 Codon 论坛上,一位开发者进行了测试:
$ cat fib.py def fib(n): if n == 0: return 0 elif n == 1: return 1 else: return fib(n-1) + fib(n-2)if __name__ == "__main__": import sys print(fib(int(sys.argv[1])))CPython 3.11
$ python fib.py 40102334155# mem: 8'816_KB# time: 18.42_sPyPy 7.3.9
$ pypy fib.py 40102334155# mem: 74'596_kB# time: 4.99_s# ~= 3.7xCodon compiled$ codon build -release fib.py$ ./fib 40102334155# mem: 5'612_kB# time: 0.26_s# ~= 70.8xCodon with python interpreter
# in fibpy.py, we just add `@python` decorator to fib function$ codon build -release fibpy.pyexport CODON_PYTHON=/path/to/libpython3.11.so$ ./fibpy 40102334155# mem: 12'828# time: 18.49# ~= 1x最终发现,一个简单的 Codon 编译的斐波那契脚本比 CPython 版本快 70 多倍。
除此之外,该研究团队也在 GitHub 上贴出了 Codon 基准测试套件的结果,比较了 Python、PyPy、C++ 和 Codon 在一系列任务和应用上的表现。该基准测试是在以下设置上运行的:
最终结果如下所示:
据 Codon 官方文档显示,虽然 Codon 的语法和语义与 Python 的几乎相同,但还是有一些值得一提的区别,如数据类型方面:
整数。Codon 的 int 是一个 64 位有符号的整数,而 Python 的(在版本 3 之后)可以是任意大的。然而 Codon 通过 Int[N] 支持更大的整数,其中 N 是位宽。
字符串。Codon 目前使用 ASCII 字符串,与 Python 的 unicode 字符串不同。
字典。Codon 的字典类型不保留插入顺序,与 Python 3.6 的不同。
此外,Codon 和 Python 在类型检查、数值运算、模块等维度还有些许的不同,更详细的内容可参考:https://docs.exaloop.io/codon/general/differences据悉,Codon 已经被商业化地应用在金融和生物信息学、深度学习等领域。
参考来源:
https://www.theregister.com/2023/03/11/python_codon_compiler/
GitHub 地址:https://github.com/exaloop/codon
盛供段2694python工程师都需要用到哪些库? -
殷咱放18930042068 ______ Python工程师的6个必备库(不会的戳进来)这六个是常用的,基础的,你先记下来吧.
盛供段2694Python的代表性Web框架有哪些? -
殷咱放18930042068 ______ 1. Django Django是一个开源的Web应用框架,由Python写成,支持许多数据库引擎,可以让Web开发变得迅速和可扩展,并会不断的版本更新以匹配Python最新版本,如果是新手程序员,可以从这个框架入手. 2. CherryPy CherryPy是一种用...
盛供段2694当前PYTHON常用的测试框架有哪些 -
殷咱放18930042068 ______ 从GitHub中整理出的15个最受欢迎的Python开源框架.这些框架包括事件I/O,OLAP,Web开发,高性能网络通信,测试,爬虫等. Django: Python Web应用开发框架 Django 应该是最出名的Python框架,GAE甚至Erlang都有框架受它影响.
盛供段2694python中os和sys模块的区别与常用方法总结 -
殷咱放18930042068 ______ os与sys模块的官方解释如下:os: This module provides a portable way of using operating system dependent functionality.这个模块提供了一种方便的使用操作系统函数的方法.sys: This module provides access to some variables used or ...
盛供段2694python 爬虫调用了哪些库 -
殷咱放18930042068 ______ 请求: requests/urllib/aiohttp(异步请求)/socket(socket请求) json解析: json html解析: pyquery/bs/lmxl/re...csv: csv sql: sqlite/mysql...科学计算: numpy/scipy/matplotlib 模拟浏览器: selenium
盛供段2694想要学习python,请问具体要学习哪些内容呢
殷咱放18930042068 ______ 可以按照以下课程大纲学习:阶段一:Python开发基础Python全栈开发与人工智能之Python开发基础知识学习内容包括:Python基础语法、数据类型、字符编码、文件操作、函数、装饰器、迭代器、内置方法、常用模块等.阶段二:Python高级...
盛供段2694python的基础是什么? -
殷咱放18930042068 ______ 跟大家分享一份系统的python学习路线图!第一阶段Python基础与Linux数据库.这是Python的入门阶段,也是帮助零基础学员打好基础的重要阶段.你需要掌握Python基本语法规则及变量、逻辑控制、内置数据结构、文件操作、高级函数、模块...
盛供段2694python的可视化编程软件 -
殷咱放18930042068 ______ 在参考链接上可以下到windows上的安装包,根据你的Python版本选择一个. 有个IDE :Boa Construtor 可以像VC一样设计界面并自动生成代码