python - `yield from` 生成器与 `yield from` 列表性能
问题描述
Python 3.6.8 (default, Oct 7 2019, 12:59:55)
Type 'copyright', 'credits' or 'license' for more information
IPython 7.9.0 -- An enhanced Interactive Python. Type '?' for help.
In [1]: def yield_from_generator():
...: yield from (i for i in range(10000))
...:
In [2]: def yield_from_list():
...: yield from [i for i in range(10000)]
...:
In [3]: import timeit
In [4]: timeit.timeit(lambda: list(yield_from_generator()), number=10000)
Out[4]: 5.3820097140014695
In [5]: timeit.timeit(lambda: list(yield_from_list()), number=10000)
Out[5]: 4.333915593000711
我多次运行yield from
生成器和列表。yield from
列表版本总是提供更好的性能,而我的直觉告诉我相反的结论 - 制作列表需要在启动时分配内存。为什么我们能注意到这样的性能差异?
解决方案
简短的回答是表面语法使它们看起来比实际更相似
我将更详细地分解一系列功能(该dis
模块对此很有帮助),我将把它们分成设置成本和每产出价值成本。我们从:
def yield_from_generator():
yield from (i for i in range(10000))
费用是:
- setup:创建范围对象并调用嵌入式生成器表达式
- per-yield: yield from the ,它也在迭代器上
genexpr
调用 a 。注意这里有两个上下文切换next
range
接下来我们看:
def yield_from_list():
yield from [i for i in range(10000)]
费用是:
- 设置:创建一个新列表并使用列表推导填充它。这使用特殊
list
的操作码,所以会很快 - per-yield:只恢复
list
's 迭代器,所以速度很快
接下来我们看一个类似的函数:
def yield_from_list2():
yield from list(i for i in range(10000))
这不使用特殊列表操作码并且具有生成器的双重嵌套,因此再次变慢。费用是:
- setup:创建一个新的生成器表达式并将其传递给列表构造函数,这将遍历遍历范围对象的生成器表达式
- per-yield:使用
list
's 迭代器,所以又快了
最后是一个快速版本,只是强调yield from
:
def yield_from_generator2():
yield from range(10000)
费用是:
- 设置:创建一个
range
对象 - per-yield:直接恢复
range
迭代器
我的笔记本电脑上所有这些的时间是:
yield_from_generator 639 µs
yield_from_list 536 µs
yield_from_list2 689 µs
yield_from_generator2 354 µs
希望现在更清楚一点。另一个版本是:
def yield_from_list3():
yield from list(range(10000))
运行时间为 401 µs,但希望更明显的是为什么它位于中间,性能方面
推荐阅读
- dynamics-crm - Dynamics 365 CE 统一接口 - 部分中的 2 列布局仅显示一列
- prometheus - Azure Monitor Containers 和 prometheus 集成
- java - 没有 Java SE DK,JAR 将无法运行
- r - 如果条件不成立,则生成具有缺失值的变量
- javascript - 使用 ramda 过滤嵌套对象数组中的值
- jestjs - 玩笑:如何合并来自不同玩笑测试运行的覆盖率报告
- python - 条件正则表达式在 Python 中的行为不符合预期
- linux - 为什么我登录不同的shell时有不同的提示
- kubernetes - 具有多个 DNS 的 kops kubernetes 集群
- react-native - 有没有办法在发布模式下禁用 React Native 警告?