在pandas dataframe MultiIndex中将nan替换为None

falq053o 于 2023-03-28 发布在其他

关注(0)|答案(2)|浏览(190)

我试图在pandas数据框MultiIndex中将nan替换为None。在MultiIndex中似乎None被转换为nan（但在其他索引类型中没有）。
以下不起作用（摘自问题Replace NaN in DataFrame index）

df = pd.DataFrame([['a', True, 1], ['b', True, 2], ['c', False, 3], ['d', None, 4]], columns=['c1', 'c2', 'c3'])
df.set_index(['c1','c2'], inplace=True)
df.index = pd.MultiIndex.from_frame(df.index.to_frame().fillna(np.nan).replace([np.nan], [None]))
df
          c3
c1 c2       
a  True    1
b  True    2
c  False   3
d  NaN     4
type(df.index[3][1])
<class 'float'>

也没有

index_tuples = [tuple(row) for row in df.index.to_frame().fillna(np.nan).replace([np.nan], [None]).values]
pd.MultiIndex.from_tuples(index_tuples)
MultiIndex([('a',  True),
            ('b',  True),
            ('c', False),
            ('d',   nan)],
           )

type(df.index[3][1])
<class 'float'>

似乎None在MultiIndex中转换为NaN。
PS.它适用于其他索引类型：

df = pd.DataFrame([['a', True, 1], ['b', True, 2], ['c', False, 3], ['d', None, 4]], columns=['c1', 'c2', 'c3'])
df.set_index('c2', inplace=True)
>>> df
      c1  c3
c2          
True   a   1
True   b   2
False  c   3
NaN    d   4
>>> df.index = df.index.fillna(value=np.nan).to_series().replace([np.nan], [None])
>>> df
      c1  c3
c2          
True   a   1
True   b   2
False  c   3
NaN    d   4
>>> type(df.index[3])
<class 'NoneType'>
>>>

pandas

来源：https://stackoverflow.com/questions/70807067/replacing-nan-with-none-in-pandas-dataframe-multiindex

2条答案

按热度按时间

wydwbb8l1#

我设法做到这一点的唯一方法是直接操作numpy数组。似乎pandas中的MultiIndex对None值的任何赋值都会导致转换为NaN

import pandas as pd
import numpy as np
df = pd.DataFrame([['a', True, 1], ['b', True, 2], ['c', False, 3], ['d', None, 4]], columns=['c1', 'c2', 'c3'])
df.set_index(['c1','c2'], inplace=True)

def replace_nan(x):
    new_x = []
    for v in x:
      try:
        if np.isnan(v):
          new_x.append(None)
        else:
          new_x.append(v)
      except TypeError:
        new_x.append(v)
    return tuple(new_x)

print('Before:\n', df.index)
idx = df.index.values
idx[:] = np.vectorize(replace_nan, otypes=['object'])(idx) # Replace values in np.array
print('After:\n', df.index)

结果：

Before:
 MultiIndex([('a',  True),
            ('b',  True),
            ('c', False),
            ('d',   nan)],
           names=['c1', 'c2'])
After:
 MultiIndex([('a',  True),
            ('b',  True),
            ('c', False),
            ('d',  None)],
           names=['c1', 'c2'])

赞(0）回复(0）举报 2023-03-28

pes8fvy92#

我认为Pandas确实有一个bug。但是在类似的情况下，下面的方法对我很有效：
df = df.set_index(pf.MultiIndex.from_product(df.index.levels))
错误是df.index.levels是相同的，有或没有扩展索引。

赞(0）回复(0）举报 2023-03-28