r - if() 中的 sparseIndexTracking 0.1.0 失败：需要 TRUE/FALSE 的缺失值

问题描述

我有两个数据集。两者都是xts对象。

 > dput(head(all_data[,2:3]))
    structure(c(0.00108166576527857, 0.00324149108589955, 0, 0, 0.00484652665589658, 
    0.00267952840300101, 0.00606980273141122, 0.00301659125188536, 
    0.00526315789473686, -0.00149588631264019, 0, -0.00299625468164799
    ), class = c("xts", "zoo"), .indexCLASS = c("POSIXct", "POSIXt"
    ), .indexTZ = "UTC", tclass = c("POSIXct", "POSIXt"), tzone = "UTC", index = structure(c(1453716060, 
    1453716120, 1453716180, 1453716240, 1453716300, 1453716360), tzone = "UTC", tclass = c("POSIXct", 
    "POSIXt")), .Dim = c(6L, 2L), .Dimnames = list(NULL, c("ClosePrice_AGL.1", 
    "ClosePrice_AMC")))

> dput(head(all_data[,1]))
    structure(c(0.00108166576527857, 0.00324149108589955, 0, 0, 0.00484652665589658, 
    0.00267952840300101), class = c("xts", "zoo"), .indexCLASS = c("POSIXct", 
    "POSIXt"), .indexTZ = "UTC", tclass = c("POSIXct", "POSIXt"), tzone = "UTC", index = structure(c(1453716060, 
    1453716120, 1453716180, 1453716240, 1453716300, 1453716360), tzone = "UTC", tclass = c("POSIXct", 
    "POSIXt")), .Dim = c(6L, 1L), .Dimnames = list(NULL, "ClosePrice_AGL"))

> dput(head(mydata_train[,1:3]))
    structure(c(-0.00155763239875384, -0.0279251170046803, -0.00225324987963404, 
    -0.000479333950998528, 0.0042195179257094, -0.00163456299477571, 
    -0.00526315789473697, -0.0222222222222221, -0.00431818181818178, 
    -0.00218475886131686, 0.00217864923747269, -0.00217391304347825, 
    -0.00651612903225807, -0.0221442950840964, -0.00385177314384377, 
    0.00333333333333319, -0.00365448504983379, -0.0160053351117039
    ), class = c("xts", "zoo"), .indexCLASS = c("POSIXct", "POSIXt"
    ), tclass = c("POSIXct", "POSIXt"), tzone = "", index = structure(c(1527255180, 
    1527256080, 1527256260, 1527256440, 1527256800, 1527256980), tclass = c("POSIXct", 
    "POSIXt")), .Dim = c(6L, 3L), .Dimnames = list(NULL, c("ACBFF.Close", 
    "APHQF.Close", "WDDMF.Close")))

> dput(head(mydata_train[,4]))
    structure(c(0.00429610046265694, -0.00789733464955589, -0.00165837479270303, 
    -0.00299003322259139, 0.00333222259246901, -0.00199269345732311
    ), class = c("xts", "zoo"), .indexCLASS = c("POSIXct", "POSIXt"
    ), tclass = c("POSIXct", "POSIXt"), tzone = "", index = structure(c(1527255180, 
    1527256080, 1527256260, 1527256440, 1527256800, 1527256980), tclass = c("POSIXct", 
    "POSIXt")), .Dim = c(6L, 1L), .Dimnames = list(NULL, "MJ.Close"))

我正在运行spIndexTrack：

library(sparseIndexTracking)

  test <- spIndexTrack(all_data[,2:3] , all_data[,1], lambda = 1e-7, u = 0.5, measure = 'ete')

  test <- spIndexTrack(mydata_train[,1:3] , mydata_train[,4], lambda = 1e-7, u = 0.5, measure = 'ete')

第二个函数给出：

 w
ACBFF.Close 0.47083543
APHQF.Close 0.42967200
WDDMF.Close 0.09949257

但第一个失败：

Error in if (abs(a + 1) < 1e-06) { : 
  missing value where TRUE/FALSE needed

NA我没有

all_data <- all_data[complete.cases(all_data),]

any(is.na(all_data) == TRUE)

我所有的数据都是数字的。

storage.mode(my_data) <- "numeric"

我可以毫无错误地进行回归：

lm(all_data[,1] ~ all_data[,2:3])

这不是我的数据框中有 0 的结果

all_data[all_data==0] <- 1e-9

尝试包装为矩阵：

as.matrix(all_data)

不知道出了什么问题。

如果有人想使用在线 google/yahoo 数据运行完整的工作示例，您可以使用：

library(sparseIndexTracking)
library(xts)
library(gquote)
library(PerformanceAnalytics)

#######################################
############  SET PARAMETERS  #########
#######################################

# Data

minute_interval <- 3
n_periods <- 10000




#######################################
############  GET DATA  #########
#######################################


# pull yahoo / google data for the portfolio (2 stocks)

mydata <- merge(getIntradayPrice('ACBFF', period=n_periods, interval = minute_interval),
                getIntradayPrice('APHQF', period=n_periods, interval = minute_interval),
                getIntradayPrice('WDDMF', period=n_periods, interval = minute_interval),
                getIntradayPrice('MJ', period=n_periods, interval = minute_interval),
                getIntradayPrice('HMLSF', period=n_periods, interval = minute_interval)
)

#select just closing prices
mydata <- mydata[,c(1,6, 11, 16)]


# remove NA values

mydata <- mydata[complete.cases(mydata),]

# replace all with returns of the two series - can use 'log' or 'discrete'
mydata <- Return.calculate(mydata, method = 'discrete')


# remove NA values again

mydata <- mydata[complete.cases(mydata),]

## split set into first 50% training data second 50% test data

mydata_train <- mydata[1:floor(nrow(mydata) * 0.5),]
mydata_test <-  mydata[floor(nrow(mydata) * 0.5 +1):nrow(mydata),]


# remove NA values again

mydata_train <- mydata_train[complete.cases(mydata_train),]

# Generate weights see : https://cran.r-project.org/web/packages/sparseIndexTracking/vignettes/SparseIndexTracking-vignette.pdf



w_ete <- spIndexTrack(mydata_train[,1:3] , mydata_train[,4], lambda = 1e-7, u = 1.5, measure = 'ete')
w_ete

我被困住了。不确定是否有人可以提供帮助。提前致谢。

标签： rxtsnazoo

解决方案

数据准备

spIndexTrack首先应用于as.matrix您的输入对象，因为该函数需要一个矩阵和一个向量

 spIndexTrack(X, r, lambda, u = 1, measure = c("ete", "dr", "hete", "hdr"),
   hub = NULL, w0 = NULL, thres = 1e-09)

论据：

   X: m-by-n matrix of net returns (m samples, n assets).

   r: m dimensional vector of the net returns of the index.

因此，为简单起见，您dput(datamat <- as.matrix(all_data))可以

datamat <- 
structure(c(0.00108166576527857, 0.00324149108589955, 0, 0, 0.00484652665589658, 
0.00267952840300101, 0.00108166576527857, 0.00324149108589955, 
0, 0, 0.00484652665589658, 0.00267952840300101, 0.00606980273141122, 
0.00301659125188536, 0.00526315789473686, -0.00149588631264019, 
0, -0.00299625468164799), .Dim = c(6L, 3L), .Dimnames = list(
c("2016-01-25 10:01:00", "2016-01-25 10:02:00", "2016-01-25 10:03:00", 
"2016-01-25 10:04:00", "2016-01-25 10:05:00", "2016-01-25 10:06:00"
), c("ClosePrice_AGL", "ClosePrice_AGL.1", "ClosePrice_AMC"
)))

然后设置

X <- datamat[, 2:3]
r <- datamat[, 1]

识别问题

请注意X[, 1]和r 是相同的：

identical(X[, 1], r)
#[1] TRUE

您可以运行lm(r ~ 0 + X)，但正如r可以完美解释的那样X[, 1]，系数X[, 2]最终为零：

XClosePrice_AGL.1    XClosePrice_AMC  
        1.000e+00         -6.346e-19

根据SparseIndexTracking 小插图：算法的解释，spIndexTrack正在使用类似套索的正则化进行约束最小二乘。

回归系数必须为非负且总和为 1，以便它们给出有效的投资组合；
正则化强加了稀疏变量选择。

对于上述X和r，非约束普通最小二乘法已经为您提供了最佳稀疏投资组合：(1, 0). 你还期望spIndexTrack做什么？

## your call to `spIndexTrack`
spIndexTrack(X, r, lambda = 1e-7, u = 0.5, measure = 'ete')

特别是，您设置u = 0.5，这要求任何投资组合权重不大于0.5。鉴于最佳权重向量为(1, 0)，该算法可能会有很大的困难。

我认为您最好不要更改默认值u = 1。此默认值意味着该算法能够将除一个特征之外的所有特征缩小为零。

现在，即使以下操作也会失败。

spIndexTrack(X, r, lambda = 1e-7, u = 1, measure = 'ete')

因此我计划将正则化设置为零，即lambda = 0，但它仍然失败。我必须将其设置为一个微小的负数才能使其工作：

spIndexTrack(X, r, lambda = -1e-16, u = 1, measure = 'ete')
#                            w
#ClosePrice_AGL.1 9.999996e-01
#ClosePrice_AMC   3.633128e-07

如您所见，结果接近(1, 0).

包的数值稳定性不足

我在 CRAN 上检查了这个包。截至今天（2018 年 7 月 30 日），它仍处于其第一个版本（版本 0.1.0）。

通过浏览我的 R 代码，spIndexTrack我发现基本上没有对数值稳定性进行测试。你得到的错误只是因为你得到了0 / 0一个NaNfor variable a。

我没有兴趣通过数学算法来思考应该进行哪些先前的数值测试。以下建议是最可靠的，但可能过于受限，但您问题中的另一个工作示例（与相关mydata_train）满足此条件。

X有满秩，即qr(X)$rank等于ncol(X)；
cbind(X, r)具有满秩，即lm(r ~ 0 + X)不会以全零残差结束。

包作者有责任考虑这一点。但最后，该函数应首先检查数值错误并返回早期信息错误。

r - if() 中的 sparseIndexTracking 0.1.0 失败：需要 TRUE/FALSE 的缺失值

问题描述

解决方案

推荐阅读