python - ValueError:小端编译器不支持大端缓冲区
问题描述
我正在使用 PVlib 对 PV 阵列进行建模,有时当我尝试访问天气预报数据时,会出现以下错误:
ValueError: Big-endian buffer not supported on little-endian compiler
我不确定为什么它只是有时而不是每次我运行代码时都会发生。下面是我正在运行的代码,最后一行是导致错误的代码。任何解决此问题的帮助将不胜感激,谢谢!
# built-in python modules
import datetime
import inspect
import os
import pytz
# scientific python add-ons
import numpy as np
import pandas as pd
# plotting
# first line makes the plots appear in the notebook
%matplotlib inline
import matplotlib.pyplot as plt
import matplotlib as mpl
#import the pvlib library
from pvlib import solarposition,irradiance,atmosphere,pvsystem
from pvlib.forecast import GFS
from pvlib.modelchain import ModelChain
pd.set_option('display.max_rows', 500)
latitude, longitude, tz = 21.300268, -157.80723, 'Pacific/Honolulu'
# specify time range.
# start = pd.Timestamp(datetime.date.today(), tz=tz)
pacific = pytz.timezone('Etc/GMT+10')
# print(pacific)
# datetime.datetime(year, month, day, hour, minute, second, microsecond, tzinfo)
start2 = pd.Timestamp(datetime.datetime(2020, 2, 10, 13, 0, 0, 0, pacific))
# print(start)
# print(start2)
# print(datetime.date.today())
end = start2 + pd.Timedelta(days=1.5)
# Define forecast model
fm = GFS()
# get data from location specified above
forecast_data = fm.get_processed_data(latitude, longitude, start2, end)
# print(forecast_data)
解决方案
我想我现在有一个解决方案。出于某种原因,来自这些 UNIDATA DCSS 查询的数据偶尔会返回大端字节。这与此处讨论的 Pandas Dataframe 或 Series 对象不兼容。我在 PVLIB 中找到了从 NetCDF4 获取数据并创建 Pandas 数据框的函数。pvlib
然后看里面forecast.py
,函数被调用_netcdf2pandas
。我将复制下面的源代码:
data_dict = {}
for key, data in netcdf_data.variables.items():
# if accounts for possibility of extra variable returned
if key not in query_variables:
continue
squeezed = data[:].squeeze()
if squeezed.ndim == 1:
data_dict[key] = squeezed
elif squeezed.ndim == 2:
for num, data_level in enumerate(squeezed.T):
data_dict[key + '_' + str(num)] = data_level
else:
raise ValueError('cannot parse ndim > 2')
data = pd.DataFrame(data_dict, index=self.time)
目标是将 NetCDF4 数据压缩到单个 Pandas 系列中,将每个系列保存到字典中,然后将所有数据导入数据框并返回。我所做的只是在此处添加一个检查,以确定压缩序列是否为 Big-Endian 并将其转换为 Little-Endian。我修改后的代码如下:
for key, data in netcdf_data.variables.items():
# if accounts for possibility of extra variable returned
if key not in query_variables:
continue
squeezed = data[:].squeeze()
# If the data is big endian, swap the byte order to make it little endian
if squeezed.dtype.byteorder == '>':
squeezed = squeezed.byteswap().newbyteorder()
if squeezed.ndim == 1:
data_dict[key] = squeezed
elif squeezed.ndim == 2:
for num, data_level in enumerate(squeezed.T):
data_dict[key + '_' + str(num)] = data_level
else:
raise ValueError('cannot parse ndim > 2')
data = pd.DataFrame(data_dict, index=self.time)
我使用这个 Stack Overflow 答案来确定每个系列的字节序。SciPy 文档给了我一些关于这些字节顺序可能是什么类型的数据的线索。
这是我对 pv-lib 的拉取请求,它为我解决了这个问题。我希望这有帮助。我仍然不知道为什么问题不一致。大约 95% 的时间,我的尝试get_processed_data
都会失败。当它起作用时,我以为我找到了修复程序,然后 Pandas 会抛出字节序错误。在对 pv-lib 实施修复后,我不再有来自 Pandas 的关于大端或小端的错误。
推荐阅读
- postgresql - JOOQ 删除并加入
- redirect - 运行脚本时如何使用 OAuth2 进行身份验证?
- java - Intellij IDEA 中更简单的建议(无 `CTRL+Space` 和模糊搜索)
- python - Pygame.mouse.set_cursor((8,8),(0,0),(0,0,0,0,0,0,0,0),(0,0,0,0,0,0,0 ,0)) 导致错误
- javascript - 通过循环向对象添加键出错
- swift - 访问 @Environment(\.presentationMode) 阻止 PDFView 出现
- java - 我需要什么事件才能对某些带有附魔的小怪造成更多伤害?
- javascript - Object.keys 迭代导致 Typescript 错误“元素隐式具有‘任何’类型,因为索引表达式不是‘数字’类型”
- html - 滚动块 HTML
- .net - Rest Api 标头授权