CPython是最常用的Python解释器之一,也是Python官方实现。它是用C语言编写的,旨在提供一个高效且易于使用的Python解释器。
以下是CPython的一些特点和功能:
-
语言兼容性:CPython兼容Python的标准语法和语义,因此与其他Python实现的代码可以无缝地在CPython上运行。
-
C扩展支持:CPython允许使用C语言编写扩展模块,这些模块可以通过Python的标准C API与CPython解释器进行交互。这使得CPython可以利用C语言的高性能和底层操作能力。
-
标准库:CPython附带了一个丰富的标准库,提供了许多用于处理文件、网络、数据库、图形界面等常见任务的模块和功能。
-
全局解释锁(GIL):CPython的一个特点是全局解释锁(GIL),它是一种线程同步机制,确保在同一时刻只有一个线程执行Python字节码。这可以简化解释器的设计,并提供线程安全的执行环境,但也限制了CPython在多核处理器上的并行性能。
-
调试器支持:CPython提供了内置的调试器,可以帮助开发人员诊断和修复代码中的错误。
-
跨平台支持:CPython可以在多个操作系统上运行,包括Windows、macOS和Linux等。
需要注意的是,虽然CPython是最常用的Python解释器,但也有其他Python实现,如Jython(使用Java实现)和IronPython(使用.NET实现)。这些实现有自己的特点和用途,可以根据项目需求选择合适的解释器。
Python虽然是一种解释型语言,但在CPython实现中,它也是有编译过程的。Python代码不是编译成机器码,也不是直接在解释器中运行,而是先被编译为字节码,之后在CPython的解释器中运行。有时运行后的Python项目会出现一些.pyc后缀的文件,这就是为了加快运行而缓存下来的字节码文件。这些字节码文件的作用就是重用,在下一次运行时可以直接运行字节码文件,节省了从python源代码到字节码的过程。pyc文件中包含了生成时间和解释器版本,当源代码被修改后,运行pyc文件时就会检测出来其已经过期,重新执行字节码的生成。
相比于C和C++这种需要手动控制内存申请与释放的语言,python将这一过程隐藏了,并使用引用计数和垃圾回收进行自动内存管理。
每当在python中声明一个新变量时,就会为该变量维护一个引用计数。引用计数的初始值是1,当变量超出作用域时,例如函数返回或代码块结束,引用计数递减。当该计数变为0时,就会触发PyObject_Free()
释放该对象。
垃圾回收不是立即发生的,要释放不再使用的对象的内存也是具有开销的,通常在经过一定数量操作后垃圾回收才会启动。python提供了一个gc
标准库,可以查看垃圾回收的状态和手动触发垃圾回收。
https://github.com/python/cpython
CPython执行过程
从Python源代码到其在CPU运行需要经历诸多过程:
1.建立运行时配置
在执行任何python代码之前,运行时首先建立配置。该配置位于Include/cpython/initconfig.h中
包括:
- 各种模式(如debug)的flag
- 执行模式,如传递文件名执行或者-m 执行模块
- 扩展选项,通过 -X
- 环境变量
该配置数据用于运行时启用或禁用某些功能
2.读取文件或输入
python有多种调用python
执行的方式:
- 使用python -c “code”执行单行code
- 使用python -m module执行模块
- 使用python filepath执行文件
- 使用python交互式窗口(REPL)
- ......
3.词法分析和语法分析
在Grammar目录中定义了Python语法和token表,据此生成的语法表将指导解析器把源代码转换为一个CST。
4.抽象语法树生成
将解析器生成的 CST 转换为可以执行的更合乎逻辑的东西。该结构是代码的更高级别的表示形式,称为抽象语法树 (AST)。
5.编译
现在解释器有一个 AST,其中包含每个操作、函数、类所需的属性。编译器的工作是将 AST 转换为 CPU 可以理解的东西。
此编译任务分为两部分:
- 遍历树并创建一个控制流图,该图表示执行的逻辑序列
- 将控制流图中的节点转换为较小的可执行语句,称为字节码
最终生成code object
6.执行
从pyc文件中读取code object或将内存中code object传递给执行组件。每个字节码操作被封装为堆栈帧来执行,具体内容可以参考:您的CPython源代码指南 - 真正的Python (realpython.com)
CPython中的对象
Python中一切皆对象,内置了许多基本类型,如int、str、list、tuple、dict等。所有类都继承了object这个基类。
在C实现中,该类为PyObject,定义如下
struct _object {
_PyObject_HEAD_EXTRA #双向链表节点,将所有活动的堆对象串起来
union {
Py_ssize_t ob_refcnt;
#if SIZEOF_VOID_P > 4
PY_UINT32_T ob_refcnt_split[2]; # 引用计数
#endif
};
PyTypeObject *ob_type; # 类型
};
PyObject使用PyTypeObject作为类型标识,通过该成员来表现出对不同类对象的函数调用的效果,也就是多态。
在Python中常有一些魔术方法,如__getattr__
,__new__
,__del__
等,这些魔术方法在类或对象的某些事件触发后会自动执行,其实现也在PyObject中。
如
PyObject_GetAttr() ;
PyObject_SetAttr();
PyObject_Repr();
......
不同类的魔术方法实现可能不同,因此PyTypeObject中维护了成员函数,例如
destructor tp_dealloc;
Py_ssize_t tp_vectorcall_offset;
getattrfunc tp_getattr;
setattrfunc tp_setattr;
此外类被分为三种,数字类如int、float,序列类如list、tuple,映射类如dict
PyNumberMethods *tp_as_number;
PySequenceMethods *tp_as_sequence;
PyMappingMethods *tp_as_mapping;
对于数字类,具有加法、减法、乘法、除法、取模等计算,因此PyNumberMethods具有一些数学操作的函数列表
typedef struct {
binaryfunc nb_add;
binaryfunc nb_subtract;
binaryfunc nb_multiply;
binaryfunc nb_remainder;
binaryfunc nb_divmod;
ternaryfunc nb_power;
unaryfunc nb_negative;
unaryfunc nb_positive;
unaryfunc nb_absolute;
inquiry nb_bool;
unaryfunc nb_invert;
binaryfunc nb_lshift;
binaryfunc nb_rshift;
binaryfunc nb_and;
binaryfunc nb_xor;
binaryfunc nb_or;
unaryfunc nb_int;
void *nb_reserved; /* the slot formerly known as nb_long */
unaryfunc nb_float;
binaryfunc nb_inplace_add;
binaryfunc nb_inplace_subtract;
binaryfunc nb_inplace_multiply;
binaryfunc nb_inplace_remainder;
ternaryfunc nb_inplace_power;
binaryfunc nb_inplace_lshift;
binaryfunc nb_inplace_rshift;
binaryfunc nb_inplace_and;
binaryfunc nb_inplace_xor;
binaryfunc nb_inplace_or;
binaryfunc nb_floor_divide;
binaryfunc nb_true_divide;
binaryfunc nb_inplace_floor_divide;
binaryfunc nb_inplace_true_divide;
unaryfunc nb_index;
binaryfunc nb_matrix_multiply;
binaryfunc nb_inplace_matrix_multiply;
} PyNumberMethods;
类似的,序列类也具有长度、切片、索引等方法。
CPython标准库
CPython标准库中有两种类型,一种是纯Python实现的,在Lib目录下;另一种是C和Python混合实现的,在Modules目录下。
- 纯Python库
安装Python时,这些库会直接复制到安装文件夹中,并保持其路径,可以直接通过import使用。这些库通常是一些简单的,与操作系统无关的实现。
- Python与C混合库
一些操作非常依赖底层操作系统,因此用C实现,源代码编译到macOS,Windows,Linux和其他基于*nix的操作系统时会有特殊实现。例如time
模块,多线程模块、网络模块等。