Pandas唯一值多列

xdnvmnnf  于 2023-01-24  发布在  其他
关注(0)|答案(9)|浏览(168)
df = pd.DataFrame({'Col1': ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
                   'Col2': ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
                   'Col3': np.random.random(5)})

返回'Col1'和'Col2'的唯一值的最佳方法是什么?
所需输出为

'Bob', 'Joe', 'Bill', 'Mary', 'Steve'
kuarbcqp

kuarbcqp1#

pd.unique返回输入数组、DataFrame列或索引中的唯一值。
此函数的输入需要是一维的,因此需要组合多个列。最简单的方法是选择所需的列,然后查看平面化NumPy数组中的值。整个操作如下所示:

>>> pd.unique(df[['Col1', 'Col2']].values.ravel('K'))
array(['Bob', 'Joe', 'Bill', 'Mary', 'Steve'], dtype=object)

注意ravel()是一个数组方法,它返回一个多维数组的视图(如果可能的话),参数'K'告诉该方法按照元素在内存中存储的顺序来展开数组(panda通常将底层数组存储在Fortran-contiguous order中;列在行之前)。这比使用方法的默认“C”顺序要快得多。
另一种方法是选择列并将其传递给np.unique

>>> np.unique(df[['Col1', 'Col2']].values)
array(['Bill', 'Bob', 'Joe', 'Mary', 'Steve'], dtype=object)

这里不需要使用ravel(),因为该方法处理多维数组,即使如此,它也可能比pd.unique慢,因为它使用基于排序的算法而不是哈希表来标识唯一值。
对于较大的DataFrame(尤其是只有少数唯一值的情况下),速度差异很大:

>>> df1 = pd.concat([df]*100000, ignore_index=True) # DataFrame with 500000 rows
>>> %timeit np.unique(df1[['Col1', 'Col2']].values)
1 loop, best of 3: 1.12 s per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel('K'))
10 loops, best of 3: 38.9 ms per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel()) # ravel using C order
10 loops, best of 3: 49.9 ms per loop
o75abkj4

o75abkj42#

我设置了一个DataFrame,在它的列中有一些简单的字符串:

>>> df
   a  b
0  a  g
1  b  h
2  d  a
3  e  e

您可以连接您感兴趣的列并调用unique函数:

>>> pandas.concat([df['a'], df['b']]).unique()
array(['a', 'b', 'd', 'e', 'g', 'h'], dtype=object)
bfrts1fy

bfrts1fy3#

In [5]: set(df.Col1).union(set(df.Col2))
Out[5]: {'Bill', 'Bob', 'Joe', 'Mary', 'Steve'}

或者:

set(df.Col1) | set(df.Col2)
zzoitvuj

zzoitvuj4#

如果使用多列,则使用numpy v1.13+的更新解决方案需要在np.unique中指定轴,否则数组将隐式扁平化。

import numpy as np

np.unique(df[['col1', 'col2']], axis=0)

该变更于2016年11月引入:https://github.com/numpy/numpy/commit/1f764dbff7c496d6636dc0430f083ada9ff4e4be

wpx232ag

wpx232ag5#

对于我们这些喜欢Pandas的人来说,应用,当然还有lambda函数:

df['Col3'] = df[['Col1', 'Col2']].apply(lambda x: ''.join(x), axis=1)
7y4bm7vi

7y4bm7vi6#

这是另一种方法

import numpy as np
set(np.concatenate(df.values))
dfty9e19

dfty9e197#

pandas溶液:使用set()。

import pandas as pd
import numpy as np

df = pd.DataFrame({'Col1' : ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
              'Col2' : ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
               'Col3' : np.random.random(5)})

print df

print set(df.Col1.append(df.Col2).values)

输出:

Col1   Col2      Col3
0   Bob    Joe  0.201079
1   Joe  Steve  0.703279
2  Bill    Bob  0.722724
3  Mary    Bob  0.093912
4   Joe  Steve  0.766027
set(['Steve', 'Bob', 'Bill', 'Joe', 'Mary'])
9q78igpj

9q78igpj8#

list(set(df[['Col1', 'Col2']].as_matrix().reshape((1,-1)).tolist()[0]))

输出将为[“玛丽”、“乔”、“史蒂夫”、“鲍勃”、“比尔”]

ztmd8pv5

ztmd8pv59#

获取给定列名列表的唯一值列表:

cols = ['col1','col2','col3','col4']
unique_l = pd.concat([df[col] for col in cols]).unique()

相关问题