时间戳

首页 > 解决方案 > 如何遍历熊猫数据框中的嵌套 for 循环？

python - 如何遍历熊猫数据框中的嵌套 for 循环？

问题描述

我正在尝试遍历 Hacker News 数据集，并尝试创建在 HN 论坛上找到的 3 个类别（即帖子类型），即 ask_posts、show_posts 和 other_posts。

简而言之，我试图找出每个类别每个帖子的平均评论数（如下所述）。

import pandas as pd
import datetime as dt

df = pd.read_csv('HN_posts_year_to_Sep_26_2016.csv')

ask_posts = []
show_posts = []
other_post = []
total_ask_comments = 0
total_show_comments = 0

for i, row in df.iterrows():
    title = row.title
    comments = row['num_comments']
    if title.lower().startswith('ask hn'):
        ask_posts.append(title)
        for post in ask_posts:
            total_ask_comments += comments
    elif title.lower().startswith('show hn'):
        show_posts.append(title)
        for post in show_posts:
             total_show_comments += comments
    else:
        other_post.append(title)

avg_ask_comments = total_ask_comments/len(ask_posts)
avg_show_comments = total_show_comments/len(show_posts)


print(total_ask_comments)
print(total_show_comments)

print(avg_ask_comments)
print(avg_show_comments)

结果分别是；

395976587

250362315

和

43328.21829521829

24646.81187241583

这些看起来很高，我不确定是否因为这是我构建嵌套循环的方式的问题。这种方法正确吗？我使用 for 循环来执行此操作至关重要。

感谢您对我的代码的任何和所有帮助/验证。

标签： pythonpandasfor-loopiterationnested-loops

解决方案

这篇文章没有具体回答有关循环数据帧的问题。但它为您提供了一个更快的替代解决方案。

循环遍历 Pandas 数据帧以收集现有信息将非常缓慢。使用过滤来获取您想要的信息要快得多。

>>> show_posts = df[df.title.str.contains("show hn", case=False)]
>>> show_posts
              id  ...       created_at
52      12578335  ...   9/26/2016 0:36
58      12578182  ...   9/26/2016 0:01
64      12578098  ...  9/25/2016 23:44
70      12577991  ...  9/25/2016 23:17
140     12577142  ...  9/25/2016 20:06
...          ...  ...              ...
292995  10177714  ...   9/6/2015 14:21
293002  10177631  ...   9/6/2015 13:50
293019  10177511  ...   9/6/2015 13:02
293028  10177459  ...   9/6/2015 12:38
293037  10177421  ...   9/6/2015 12:16

[10189 rows x 7 columns]
>>> ask_posts = df[df.title.str.contains("ask hn", case=False)]
>>> ask_posts
              id  ...       created_at
10      12578908  ...   9/26/2016 2:53
42      12578522  ...   9/26/2016 1:17
76      12577908  ...  9/25/2016 22:57
80      12577870  ...  9/25/2016 22:48
102     12577647  ...  9/25/2016 21:50
...          ...  ...              ...
293047  10177359  ...   9/6/2015 11:27
293052  10177317  ...   9/6/2015 10:52
293055  10177309  ...   9/6/2015 10:46
293073  10177200  ...    9/6/2015 9:36
293114  10176919  ...    9/6/2015 6:02

[9147 rows x 7 columns]

你可以通过这种方式很快得到你的号码

>>> num_ask_comments = ask_posts.num_comments.sum()
>>> num_ask_comments
95000
>>> num_show_comments = show_posts.num_comments.sum()
>>> num_show_comments
50026
>>> 
>>> total_num_comments = df.num_comments.sum()
>>> total_num_comments
1912761
>>> 
>>> # Get a ratio of the number ask comments to total number of comments
>>> num_ask_comments / total_num_comments
0.04966642460819726
>>>

你也会得到不同的数字.startswith()vs. .contains()（我不确定你想要哪个）。

>>> ask_posts = df[df.title.str.lower().str.startswith("ask hn")]
>>> len(ask_posts)
9139
>>> 
>>> ask_posts = df[df.title.str.contains("ask hn", case=False)]
>>> len(ask_posts)
9147
>>>

模式参数.contains()可以是一个正则表达式——这非常有用。所以我们可以在标题的开头指定所有以“ask hn”开头的记录，但是如果我们不确定它前面是否有任何空格，我们可以这样做

>>> ask_posts = df[df.title.str.contains(r"^\s*ask hn", case=False)]
>>> len(ask_posts)
9139
>>>

当您开始使用 Pandas 时，可能很难掌握过滤器语句中发生的事情。例如，方括号中的表达式df[df.title.str.contains("show hn", case=False)]。

方括号 ( df.title.str.contains("show hn", case=False)) 内的语句产生的是一列 True 和 False 值 - 一个布尔过滤器（不确定这是否是所谓的，但它具有那种效果）。

因此，生成的布尔列用于选择数据帧中的行，df[<bool column>]它会生成一个具有匹配记录的新数据帧。然后我们可以使用它来提取其他信息——比如评论列的总和。

推荐阅读