python-3.x - 没有 pandas/numpy 的 Pythonic 分箱数据方式
问题描述
我正在寻找一种将数百个条目的数据集分箱到 20 个箱中的方法。但是没有使用像 pandas (cut) 和 numpy (digitize) 这样的大模块。谁能想到比 18 elifs 更好的解决方案?
解决方案
您需要做的就是弄清楚每个元素在哪个 bin 中。考虑到 bin 的大小,如果它们是统一的,那么这是相当微不足道的。从您的数组中,您可以找到minval
and maxval
。那么,binwidth = (maxval - minval) / nbins
。对于数组中的一个元素elem
,以及已知的最小值minval
和 bin 宽度binwidth
,该元素将落在 bin 编号int((elem - minval) / binwidth)
中。这留下了边缘情况elem == maxval
。在这种情况下,bin 编号等于nbins
(第nbins + 1
th bin,因为 python 是从零开始的),所以我们必须减少这种情况下的 bin 编号。
所以我们可以写一个函数来做这个:
import random
def splitIntoBins(arr, nbins, minval=None, maxval=None):
minval = min(arr) if minval is None else minval # Select minval if specified, otherwise min of data
maxval = max(arr) if maxval is None else maxval # Same for maxval
binwidth = (maxval - minval) / nbins # Bin width
allbins = [[] for _ in range(nbins)] # Pre-make a list-of-lists to hold values
for elem in arr:
binnum = int((elem - minval) // binwidth) # Find which bin this element belongs in
binindex = min(nbins-1, binnum) # To handle the case of elem == maxval
allbins[binindex].append(elem) # Add this element to the bin
return allbins
# Make 1000 random numbers between 0 and 1
x = [random.random() for _ in range(1000)]
# split into 10 bins from 0 to 1, i.e. a bin every 0.1
b = splitIntoBins(x, 10, 0, 1)
# Get min, max, count for each bin
counts = [(min(v), max(v), len(v)) for v in b]
print(counts)
这给
[(0.00017731201786974626, 0.09983758434153, 101),
(0.10111204267013452, 0.19959594179848794, 97),
(0.20089309189822557, 0.2990120768922335, 100),
(0.3013915797055913, 0.39922131591077614, 90),
(0.4009006835799309, 0.49969892298935836, 83),
(0.501675740585966, 0.5999729295882031, 119),
(0.6010149249108184, 0.7000366124696699, 120),
(0.7008002068562794, 0.7970568220766774, 91),
(0.8018697850229161, 0.8990963218226316, 99),
(0.9000732426223624, 0.9967964437788829, 100)]
这看起来像我们期望的那样。
对于非均匀箱,不再是算术计算。在这种情况下,元素elem
位于下限小于elem
且上限大于的 bin 中elem
。
def splitIntoBins2(arr, bins):
binends = bins[1:]
binstarts = bins[:-1]
allbins = [[] for _ in binends] # Pre-make a list-of-lists to hold values
for elem in arr:
for i, (lower_bound, upper_bound) in enumerate(zip(binstarts, binends)):
if upper_bound >= elem and lower_bound <= elem:
allbins[i].append(elem) # Add this element to the bin
break
return allbins
推荐阅读
- python-3.x - 两个程序同时访问单个摄像头,如何?
- entity-framework - EF Core 附加/更新嵌套对象的嵌套对象
- r - 无法连接到 R 中的数据库
- flutter - 如何访问嵌套在列表中的集合?
- javascript - 如何使用 JavaScript 更改输出文本的值 - 返回不是更新字段的值,而是显示字段中的值
- python - 有没有办法可以为生成的子图添加标题和标签?
- excel - 如何在查找框中获得通过错误消息?
- javascript - 如何设置axios超时
- angular - PrimeNG 添加自定义标题文本
- android - Android 12 飞溅白色背景