如何创建两个pandas DataFrame列的字典

cdmah0mi  于 2023-04-04  发布在  其他
关注(0)|答案(8)|浏览(132)

组织以下pandas Dataframe的最有效方法是什么:
数据=

Position    Letter
1           a
2           b
3           c
4           d
5           e

alphabet[1 : 'a', 2 : 'b', 3 : 'c', 4 : 'd', 5 : 'e']这样的字典

kpbwa7wx

kpbwa7wx1#

In [9]: pd.Series(df.Letter.values,index=df.Position).to_dict()
Out[9]: {1: 'a', 2: 'b', 3: 'c', 4: 'd', 5: 'e'}

速度比较(使用Wouter方法)

In [6]: df = pd.DataFrame(randint(0,10,10000).reshape(5000,2),columns=list('AB'))

In [7]: %timeit dict(zip(df.A,df.B))
1000 loops, best of 3: 1.27 ms per loop

In [8]: %timeit pd.Series(df.A.values,index=df.B).to_dict()
1000 loops, best of 3: 987 us per loop
djp7away

djp7away2#

我找到了一种更快的方法来解决这个问题,至少在实际的大型数据集上使用:df.set_index(KEY).to_dict()[VALUE]
5万行的证明:

df = pd.DataFrame(np.random.randint(32, 120, 100000).reshape(50000,2),columns=list('AB'))
df['A'] = df['A'].apply(chr)

%timeit dict(zip(df.A,df.B))
%timeit pd.Series(df.A.values,index=df.B).to_dict()
%timeit df.set_index('A').to_dict()['B']

输出:

100 loops, best of 3: 7.04 ms per loop  # WouterOvermeire
100 loops, best of 3: 9.83 ms per loop  # Jeff
100 loops, best of 3: 4.28 ms per loop  # Kikohs (me)
o3imoua4

o3imoua43#

dict (zip(data['position'], data['letter']))

这将为您提供:

{1: 'a', 2: 'b', 3: 'c', 4: 'd', 5: 'e'}
bogh5gae

bogh5gae4#

在Python 3.6中,最快的方法仍然是WouterOvermeire的方法。Kikohs的建议比其他两种方法慢。

import timeit

setup = '''
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randint(32, 120, 100000).reshape(50000,2),columns=list('AB'))
df['A'] = df['A'].apply(chr)
'''

timeit.Timer('dict(zip(df.A,df.B))', setup=setup).repeat(7,500)
timeit.Timer('pd.Series(df.A.values,index=df.B).to_dict()', setup=setup).repeat(7,500)
timeit.Timer('df.set_index("A").to_dict()["B"]', setup=setup).repeat(7,500)

结果:

1.1214002349999777 s  # WouterOvermeire
1.1922008498571748 s  # Jeff
1.7034366211428602 s  # Kikohs
tzdcorbm

tzdcorbm5#

TL;DR

>>> import pandas as pd
>>> df = pd.DataFrame({'Position':[1,2,3,4,5], 'Letter':['a', 'b', 'c', 'd', 'e']})
>>> dict(sorted(df.values.tolist())) # Sort of sorted... 
{'a': 1, 'b': 2, 'c': 3, 'd': 4, 'e': 5}
>>> from collections import OrderedDict
>>> OrderedDict(df.values.tolist())
OrderedDict([('a', 1), ('b', 2), ('c', 3), ('d', 4), ('e', 5)])

解释解决方案:dict(sorted(df.values.tolist()))
给定:

df = pd.DataFrame({'Position':[1,2,3,4,5], 'Letter':['a', 'b', 'c', 'd', 'e']})

[out]:

Letter Position
0   a   1
1   b   2
2   c   3
3   d   4
4   e   5

试试看:

# Get the values out to a 2-D numpy array, 
df.values

[out]:

array([['a', 1],
       ['b', 2],
       ['c', 3],
       ['d', 4],
       ['e', 5]], dtype=object)

然后任选地:

# Dump it into a list so that you can sort it using `sorted()`
sorted(df.values.tolist()) # Sort by key

或者:

# Sort by value:
from operator import itemgetter
sorted(df.values.tolist(), key=itemgetter(1))

[out]:

[['a', 1], ['b', 2], ['c', 3], ['d', 4], ['e', 5]]

最后,将2个元素的列表转换为一个dict。

dict(sorted(df.values.tolist()))

[out]:

{'a': 1, 'b': 2, 'c': 3, 'd': 4, 'e': 5}

相关

回复@sbradbio评论:
如果一个特定的键有多个值,而你想保留所有的值,这不是最有效但最直观的方法:

from collections import defaultdict
import pandas as pd

multivalue_dict = defaultdict(list)

df = pd.DataFrame({'Position':[1,2,4,4,4], 'Letter':['a', 'b', 'd', 'e', 'f']})

for idx,row in df.iterrows():
    multivalue_dict[row['Position']].append(row['Letter'])

[out]:

>>> print(multivalue_dict)
defaultdict(list, {1: ['a'], 2: ['b'], 4: ['d', 'e', 'f']})
suzh9iv8

suzh9iv86#

下面是使用以下df测试的另外两种方法。

df = pd.DataFrame(np.random.randint(0,10,10000).reshape(5000,2),columns=list('AB'))

使用to_records()

dict(df.to_records(index=False))

使用MultiIndex.from_frame()

dict(pd.MultiIndex.from_frame(df))

每个人的时间。

24.6 ms ± 847 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)
1.86 ms ± 11.6 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
fxnxkyjh

fxnxkyjh7#

我喜欢Wouter方法,但是重复值的行为可能不是预期的,不幸的是,OP没有讨论这种情况。Wouter总是为遇到的每个键选择最后一个值。换句话说,它会不断覆盖每个键的值。
在我看来,预期的行为更像是Create a dict using two columns from dataframe with duplicates in one column,其中为每个键保留一个列表。
因此,对于保持重复的情况,让我提交df.groupby('Position')['Letter'].apply(list).to_dict()(或者甚至是一个集合而不是列表)

qxsslcnc

qxsslcnc8#

还有一个简单的方法将dataframe列转换为dictionary
Dataframe :

Position  Letter
0     1       a
1     2       b
2     3       c
3     4       d
4     5       e

使用词典理解

{k : v for k,v in df.values}

您将获得:

{1: 'a', 2: 'b', 3: 'c', 4: 'd', 5: 'e'}

相关问题