首页 > 技术文章 > python获取cpu核数来确定最大线程池数量

tarzen213 2020-07-07 18:02 原文

 

 
 
ProcessPoolExecutor
 
ProcessPoolExecutor
import multiprocessing
print(multiprocessing.cpu_count())

如果是cpu密集型  i线程池数量i就是cpu逻辑核数

 如果是IO密集型, 最大线程数就是2倍的cpu逻辑核数  

线程池中的线程数有两个概念: 一个是核心池大小,一个是最大池大小

  如果开启的线程数量等于核心池大小了,就是进入队列,当然队列也有大小的,如果队列也满了,就会继续开启线程,如果开启的线程数等于最大线程数了,那就考虑如何处理接下来的任务:是丢弃还是中止任务

    with ProcessPoolExecutor(max_workers=200) as executor:    #  这个是多进程
        executor.map(print_hello, range(num))

但是听闻Python的多线程实际上并不能真正利用多核,所以如果使用多线程实际上还是在一个核上做并发处理。不过,如果使用多进程就可以真正利用多核,因为各进程之间是相互独立的,不共享资源,可以在不同的核上执行不同的进程,达到并行的效果 

推荐阅读