计算Pandas DataFrame沿着各列的自相关性

yhqotfr8  于 2022-11-27  发布在  其他
关注(0)|答案(4)|浏览(266)

我想计算Pandas DataFrame中各列滞后长度为1的自相关系数。

RF        PC         C         D        PN        DN         P
year                                                                      
1890       NaN       NaN       NaN       NaN       NaN       NaN       NaN
1891 -0.028470 -0.052632  0.042254  0.081818 -0.045541  0.047619 -0.016974
1892 -0.249084  0.000000  0.027027  0.067227  0.099404  0.045455  0.122337
1893  0.653659  0.000000  0.000000  0.039370 -0.135624  0.043478 -0.142062

沿着,我想计算每列(RFPC等)滞后一的自相关。
为了计算自相关性,我为每列提取了两个时间序列,它们的开始和结束数据相差一年,然后用numpy.corrcoef计算相关系数。
例如,我写道:
numpy.corrcoef(data[['C']][1:-1],data[['C']][2:])
(the整个 Dataframe 称为data)。
然而,命令不幸返回:

array([[ nan,  nan,  nan, ...,  nan,  nan,  nan],
       [ nan,  nan,  nan, ...,  nan,  nan,  nan],
       [ nan,  nan,  nan, ...,  nan,  nan,  nan],
       ..., 
       [ nan,  nan,  nan, ...,  nan,  nan,  nan],
       [ nan,  nan,  nan, ...,  nan,  nan,  nan],
       [ nan,  nan,  nan, ...,  nan,  nan,  nan]])

有人能告诉我如何计算自相关吗?

5uzkadbs

5uzkadbs1#

这是一个迟来的答案,但是对于未来的用户,您还可以使用panda.Series.autocorr(),它计算Series上的lag-N(默认值=1)自相关:

df['C'].autocorr(lag=1)

http://pandas.pydata.org/pandas-docs/stable/generated/pandas.Series.autocorr.html#pandas.Series.autocorr

os8fio9y

os8fio9y2#

.autocorrapplies应用于序列,而不是 Dataframe 。可以使用.apply应用于 Dataframe :

def df_autocorr(df, lag=1, axis=0):
    """Compute full-sample column-wise autocorrelation for a DataFrame."""
    return df.apply(lambda col: col.autocorr(lag), axis=axis)
d1 = DataFrame(np.random.randn(100, 6))

df_autocorr(d1)
Out[32]: 
0    0.141
1   -0.028
2   -0.031
3    0.114
4   -0.121
5    0.060
dtype: float64

你也可以用一个指定的窗口计算滚动自相关,如下所示(这就是.autocorr在幕后所做的):

def df_rolling_autocorr(df, window, lag=1):
    """Compute rolling column-wise autocorrelation for a DataFrame."""

    return (df.rolling(window=window)
        .corr(df.shift(lag))) # could .dropna() here

df_rolling_autocorr(d1, window=21).dropna().head()
Out[38]: 
        0      1      2      3      4      5
21 -0.173 -0.367  0.142 -0.044 -0.080  0.012
22  0.015 -0.341  0.250 -0.036  0.023 -0.012
23  0.038 -0.329  0.279 -0.026  0.075 -0.121
24 -0.025 -0.361  0.319  0.117  0.031 -0.120
25  0.119 -0.320  0.181 -0.011  0.038 -0.111
zynd9foi

zynd9foi3#

您应该使用:

numpy.corrcoef(df['C'][1:-1], df['C'][2:])

df[['C']]表示只有一列的 Dataframe ,而df['C']是包含C列中的值的序列。

pw9qyyiw

pw9qyyiw4#

由于我相信我们需要对应于最高相关性的窗口的用例更为常见,因此我添加了另一个函数,该函数返回每个特征的窗口长度。

# Find autocorrelation example.
def df_autocorr(df, lag=1, axis=0):
    """Compute full-sample column-wise autocorrelation for a DataFrame."""
    return df.apply(lambda col: col.autocorr(lag), axis=axis)

def df_rolling_autocorr(df, window, lag=1):
    """Compute rolling column-wise autocorrelation for a DataFrame."""

    return (df.rolling(window=window)
        .corr(df.shift(lag))) # could .dropna() here

def df_autocorr_highest(df, window_min, window_max, lag_f):
    """Returns a dictionary containing highest correlation coefficient wrt window length."""
    df_corrs = pd.DataFrame()
    df_corr_dict = {}
    for i in range(len(df.columns)):
        corr_init = 0
        corr_index = 0
        for j in range(window_min, window_max): 
            corr = df_rolling_autocorr(df.iloc[:,i], window=j, lag=lag_f).dropna().mean()
            if corr > corr_init:
                corr_init = corr
                corr_index = j
        corr_label = df.columns[i] + "_corr"    
        df_corr_dict[corr_label] = [corr_init, corr_index]
    return df_corr_dict

相关问题