详解Python描述符的工作原理

一、前言

其实,在开发过程中,虽然我们没有直接使用到描述符,但是它在底层却无时不刻地被使用到,例如以下这些:

functionbound methodunbound method

装饰器propertystaticmethodclassmethod

是不是都很熟悉?

这些都与描述符有着千丝万缕的关系,这篇文章我们就来看一下描述符背后的工作原理。

二、什么是描述符?

在解释什么是「描述符」之前,我们先来看一个简单的例子。

这个例子非常简单,我们在类A中定义了一个类属性x,然后打印它的值。

其实,除了直接定类属性之外,我们还可以这样定义一个类属性:

仔细看,这次类属性x不再是一个具体的值,而是一个类TenTen中定义了一个__get__方法,返回具体的值。

在 Python 中,允许把一个类属性,托管给一个类,这个属性就是一个「描述符」。

换句话说,「描述符」是一个「绑定行为」的属性。

怎么理解这句话?

回忆一下,我们开发时,一般把「行为」叫做什么?是的,「行为」一般指的是一个方法。

所以我们也可以把「描述符」理解为:对象的属性不再是一个具体的值,而是交给了一个方法去定义。

可以想一下,如果我们用一个方法去定义一个属性,这么做的好处是什么?

有了方法,我们就可以在方法内实现自己的逻辑,最简单的,我们可以根据不同的条件,在方法内给属性赋予不同的值,就像下面这样:

三、描述符协议

了解了描述符的定义,现在我们把重点放到托管属性的类上。

其实,一个类属性想要托管给一个类,这个类内部实现的方法不能是随便定义的,它必须遵守「描述符协议」,也就是要实现以下几个方法:

__get__(self, obj, type=None)
__set__(self, obj, value)
__delete__(self, obj)

只要是实现了以上几个方法的其中一个,那么这个类属性就可以称作描述符。

另外,描述符又可以分为「数据描述符」和「非数据描述符」:

只定义了 __get___,叫做非数据描述符
除了定义 __get__ 之外,还定义了 __set__ 或 __delete__,叫做数据描述符

它们两者有什么区别,我会在下面详述。

现在我们来看一个包含__get____set__方法的描述符例子:

在这例子中,类属性age是一个描述符,它的值取决于Age类。

从输出结果来看,当我们获取或修改age属性时,调用了Age__get____set__方法:

  • 当调用p1.age时,__get__被调用,参数objPerson实例,typetype(Person)
  • 当调用Person.age时,__get__被调用,参数objNonetypetype(Person)
  • 当调用p1.age = 25时,__set__被调用,参数objPerson实例,value是25
  • 当调用p1.age = -1时,__set__没有通过校验,抛出ValueError

其中,调用__set__传入的参数,我们比较容易理解,但是对于__get__方法,通过类或实例调用,传入的参数是不同的,这是为什么?

这就需要我们了解一下描述符的工作原理。

四、描述符的工作原理

要解释描述符的工作原理,首先我们需要先从属性的访问说起。

在开发时,不知道你有没有想过这样一个问题:通常我们写这样的代码a.b,其背后到底发生了什么?

这里的ab可能存在以下情况:

1.a可能是一个类,也可能是一个实例,我们这里统称为对象

2.b可能是一个属性,也可能是一个方法,方法其实也可以看做是类的属性

其实,无论是以上哪种情况,在 Python 中,都有一个统一的调用逻辑:

1.先调用__getattribute__尝试获得结果

2.如果没有结果,调用__getattr__

用代码表示就是下面这样:

我们这里需要重点关注一下__getattribute__,因为它是所有属性查找的入口,它内部实现的属性查找顺序是这样的:

1.要查找的属性,在类中是否是一个描述符

2.如果是描述符,再检查它是否是一个数据描述符

3.如果是数据描述符,则调用数据描述符的__get__

4.如果不是数据描述符,则从__dict__中查找

5.如果__dict__中查找不到,再看它是否是一个非数据描述符

6.如果是非数据描述符,则调用非数据描述符的__get__

7.如果也不是一个非数据描述符,则从类属性中查找

8.如果类中也没有这个属性,抛出AttributeError异常

写成代码就是下面这样:

如果不好理解,你最好写一个程序测试一下,观察各种情况下的属性的查找顺序。

到这里我们可以看到,在一个对象中查找一个属性,都是先从__getattribute__开始的。

__getattribute__中,它会检查这个类属性是否是一个描述符,如果是一个描述符,那么就会调用它的__get__方法。但具体的调用细节和传入的参数是下面这样的:

如果a是一个实例,调用细节为:

所以我们就能看到上面例子输出的结果。

五、数据描述符和非数据描述符

了解了描述符的工作原理,我们继续来看数据描述符和非数据描述符的区别。

从定义上来看,它们的区别是:

  • 只定义了__get___,叫做非数据描述符
  • 除了定义__get__之外,还定义了__set____delete__,叫做数据描述符

此外,我们从上面描述符调用的顺序可以看到,在对象中查找属性时,数据描述符要优先于非数据描述符调用。

在之前的例子中,我们定义了__get____set__,所以那些类属性都是数据描述符

我们再来看一个非数据描述符的例子:

这段代码,我们定义了一个相同名字的属性和方法foo,如果现在执行A().foo,你觉得会输出什么结果?

答案是abc

为什么打印的是实例属性foo的值,而不是方法foo呢?

这就和非数据描述符有关系了。

我们执行dir(A.foo),观察结果:

看到了吗?Afoo方法其实实现了__get__,我们在上面的分析已经得知:只定义__get__方法的对象,它其实是一个非数据描述符,也就是说,我们在类中定义的方法,其实本身就是一个非数据描述符。

所以,在一个类中,如果存在相同名字的属性和方法,按照上面所讲的__getattribute__中查找属性的顺序,这个属性就会优先从实例中获取,如果实例中不存在,才会从非数据描述符中获取,所以在这里优先查找的是实例属性foo的值。

到这里我们可以总结一下关于描述符的相关知识点:

  • 描述符必须是一个类属性
  • __getattribute__是查找一个属性(方法)的入口
  • __getattribute__定义了一个属性(方法)的查找顺序:数据描述符、实例属性、非数据描述符、类属性
  • 如果我们重写了__getattribute__方法,会阻止描述符的调用
  • 所有方法其实都是一个非数据描述符,因为它定义了__get__

六、描述符的使用场景

了解了描述符的工作原理,那描述符一般用在哪些业务场景中呢?

在这里我用描述符实现了一个属性校验器,你可以参考这个例子,在类似的场景中去使用它。

首先我们定义一个校验基类Validator,在__set__方法中先调用validate方法校验属性是否符合要求,然后再对属性进行赋值。

现在,当我们对Person实例进行初始化时,就可以校验这些属性是否符合预定义的规则了。

七、function与method

我们再来看一下,在开发时经常看到的functionunbound methodbound method它们之间到底有什么区别?

来看下面这段代码:

从结果我们可以看出它们的区别:

  • function准确来说就是一个函数,并且它实现了__get__方法,因此每一个function都是一个非数据描述符,而在类中会把function放到__dict__中存储
  • function被实例调用时,它是一个bound method
  • function被类调用时, 它是一个unbound method

function是一个非数据描述符,我们之前已经讲到了。

bound methodunbound method的区别就在于调用方的类型是什么,如果是一个实例,那么这个function就是一个bound method,否则它是一个unbound method

八、property/staticmethod/classmethod

我们再来看propertystaticmethodclassmethod

这些装饰器的实现,默认是 C 来实现的。

其实,我们也可以直接利用 Python 描述符的特性来实现这些装饰器,

property的 Python 版实现:

除此之外,你还可以实现其他功能强大的装饰器。

由此可见,通过描述符我们可以实现强大而灵活的属性管理功能,对于一些要求属性控制比较复杂的场景,我们可以选择用描述符来实现。

到此这篇关于详解Python描述符的工作原理的文章就介绍到这了,更多相关Python描述符内容请搜索179885.Com以前的文章或继续浏览下面的相关文章希望大家以后多多支持179885.Com!

猜你在找的详解Python描述符的工作原理相关文章

本文将结合实例代码,在Jupyter Notebook上使用Python+opencv实现如下简单车牌字符切割。感兴趣的程序猿可以参考一下
本文将结合实例代码,在Jupyter Notebook上使用Python+opencv实现如下图像缺陷检测。需要的朋友们下面随着小编来一起学习学习吧
端午节快要到了,旅游?回家?拜访亲友?少不了要带上粽子.那么:选择什么牌子的粽子呢?选择什么口味的粽子呢?选择什么价格区间呢?今天爬取了京东上面的 “粽子数据” 进行分
图片有的时候需要矫正,本文主要介绍了python中opencv实现图片文本倾斜校正,具有一定的参考价值,感兴趣的程序猿们可以参考一下
今天给大家带来的是关于Python的相关知识,文章围绕着如何用Python将GIF动图分解成多张静态图片展开,文中有非常详细的介绍,需求的大佬可以参考下
下面是采用以帧数为间隔的方法进行视频抽帧,为了避免不符合项目要求的数据增强,博主要求技术人员在录制视频时最大程度地让摄像头进行移动、旋转以及远近调节等,对py
今天给大家带来的是关于Python的相关知识,文章围绕着用Python创建简易网站展开,文中有非常详细的介绍及图文示例,需求的大佬可以参考下
如果好友短时间发送多条消息然后撤回会难以判断究竟撤回的是哪条信息,只能靠猜.后来我觉得“猜”这个事情特别不Pythonic,研究一段时间后找到了解决方案,不得不惊
不知道各位程序猿有没有遇到过这样的一个故事,发现自己直接喷不过,打字速度不够给力.下面这篇文章就能解决自己喷不过的苦恼,话不多说,上才艺,需求的大佬可以参考
本文主要内容是python下opencv库的安装过程,涉及我在安装时遇到的问题,并且,将从网上搜集并试用的一些解决方案进行了简单的汇总,感兴趣的程序猿们可以参考一下
今天给大家带来的文章是关于Python的相关知识,文章围绕着Python插入排序及其优化方案展开,文中有非常详细的介绍及代码示例,需求的大佬可以参考下
在实际应用中我们只需要将图像矩阵与Sobel滤波器卷积就可以得到图像的梯度矩阵了。具有一定的参考价值,感兴趣的程序猿们可以参考一下