python - 在 Python 中旋转一个大表

Question

我有 72000*3（行*列）的大型数据集。这是非透视数据。当我将这些数据转换为数据透视表时，发生了 ValueError。

这是我的数据集示例

UserID   MovieID   Ratings  
    35     16107         3  
  4498     16107         4  
  1915     16108         3  
 17615     16108         5  
  1075     16108         3  
  2067     16108         4  
  4808     16109         5  
  4391     16109         3  
  4160     16110         3  
  7543     16110         4  
   119     16111         1  
   119     16112         3  

---

from sklearn.metrics.pairwise import cosine_similarity 
df1 = pd.read_csv("C:/Users/AA/Desktop/movierating.csv")
print(df1) 
df1 = df1.pivot_table(index='UserID',columns='MovieID',values='Ratings').fillna(0)
print(df1)

提高

ValueError: array is too big; `arr.size * arr.dtype.itemsize` is larger than the maximum possible size.

标签： pythonpandas