我有以下 Dataframe 。
df.head(30)
struct_id resNum score_type_name score_value
0 4294967297 1 omega 0.064840
1 4294967297 1 fa_dun 2.185618
2 4294967297 1 fa_dun_dev 0.000027
3 4294967297 1 fa_dun_semi 2.185591
4 4294967297 1 ref -1.191180
5 4294967297 2 rama -0.795161
6 4294967297 2 omega 0.222345
7 4294967297 2 fa_dun 1.378923
8 4294967297 2 fa_dun_dev 0.028560
9 4294967297 2 fa_dun_rot 1.350362
10 4294967297 2 p_aa_pp -0.442467
11 4294967297 2 ref 0.249477
12 4294967297 3 rama 0.267443
13 4294967297 3 omega 0.005106
14 4294967297 3 fa_dun 0.020352
15 4294967297 3 fa_dun_dev 0.025507
16 4294967297 3 fa_dun_rot -0.005156
17 4294967297 3 p_aa_pp -0.096847
18 4294967297 3 ref 0.979644
19 4294967297 4 rama -1.403292
20 4294967297 4 omega 0.212160
21 4294967297 4 fa_dun 4.218029
22 4294967297 4 fa_dun_dev 0.003712
23 4294967297 4 fa_dun_semi 4.214317
24 4294967297 4 p_aa_pp -0.462765
25 4294967297 4 ref -1.960940
26 4294967297 5 rama -0.600053
27 4294967297 5 omega 0.061867
28 4294967297 5 fa_dun 3.663050
29 4294967297 5 fa_dun_dev 0.004953
根据pivot文档,我应该能够使用pivot函数在score_type_name上对它进行整形。
df.pivot(columns='score_type_name',values='score_value',index=['struct_id','resNum'])
但是,我得到以下结论。
但是,pivot_table函数似乎起作用了:
pivoted = df.pivot_table(columns='score_type_name',
values='score_value',
index=['struct_id','resNum'])
但是,至少对我来说,它不适合于进一步分析。我希望它只包含struct_id、resNum和score_type_name列,而不是将score_type_name堆叠在其他列的顶部。此外,我希望struct_id适用于每一行,而不是像表那样聚集在连接行中。
那么谁能告诉我如何使用pivot得到一个我想要的好的Dataframe呢?另外,从文档中,我不能告诉为什么pivot_table工作而pivot不工作。如果我看一下pivot的第一个例子,它看起来正是我所需要的。
Pidoss.我确实发布了一个关于这个问题的问题,但是我在演示输出方面做得很差,我删除了它,并再次尝试使用ipython notebook。如果你看到这两次,我提前道歉。
Here is the notebook for your full reference
编辑-我想要的结果看起来像这样(在excel中):
StructId resNum pdb_residue_number chain_id name3 fa_dun fa_dun_dev fa_dun_rot fa_dun_semi omega p_aa_pp rama ref
4294967297 1 99 A ASN 2.1856 0.0000 2.1856 0.0648 -1.1912
4294967297 2 100 A MET 1.3789 0.0286 1.3504 0.2223 -0.4425 -0.7952 0.2495
4294967297 3 101 A VAL 0.0204 0.0255 -0.0052 0.0051 -0.0968 0.2674 0.9796
4294967297 4 102 A GLU 4.2180 0.0037 4.2143 0.2122 -0.4628 -1.4033 -1.9609
4294967297 5 103 A GLN 3.6630 0.0050 3.6581 0.0619 -0.2759 -0.6001 -1.5172
4294967297 6 104 A MET 1.5175 0.2206 1.2968 0.0504 -0.3758 -0.7419 0.2495
4294967297 7 105 A HIS 3.6987 0.0184 3.6804 0.0547 0.4019 -0.1489 0.3883
4294967297 8 106 A THR 0.1048 0.0134 0.0914 0.0003 -0.7963 -0.4033 0.2013
4294967297 9 107 A ASP 2.3626 0.0005 2.3620 0.0521 0.1955 -0.3499 -1.6300
4294967297 10 108 A ILE 1.8447 0.0270 1.8176 0.0971 0.1676 -0.4071 1.0806
4294967297 11 109 A ILE 0.1276 0.0092 0.1183 0.0208 -0.4026 -0.0075 1.0806
4294967297 12 110 A SER 0.2921 0.0342 0.2578 0.0342 -0.2426 -1.3930 0.1654
4294967297 13 111 A LEU 0.6483 0.0019 0.6464 0.0845 -0.3565 -0.2356 0.7611
4294967297 14 112 A TRP 2.5965 0.1507 2.4457 0.5143 -0.1370 -0.5373 1.2341
4294967297 15 113 A ASP 2.6448 0.1593 0.0510 -0.5011
9条答案
按热度按时间jmp7cifd1#
对于任何仍然对
pivot
和pivot_table
之间的区别感兴趣的人来说,主要有两个区别:pivot_table
是pivot
的泛化,可以处理一个透视索引/列对的重复值。具体来说,可以使用关键字参数aggfunc
为pivot_table
提供聚集函数列表。pivot_table
的默认值aggfunc
为numpy.mean
。pivot_table
还支持将多列用于透视表的索引和列。将自动生成分层索引。参考:
pivot
和pivot_table
bxgwgixi2#
另一个警告:
pivot_table
将只允许数值类型为“values=",而pivot
将接受字符串类型为“values="。ou6hu8tu3#
我调试了一下。
DataFrame.pivot()
和DataFrame.pivot_table()
是不同的。pivot()
不接受索引列表。pivot_table()
接受在内部,它们都使用
reset_index()
/stack()
/unstack()
来完成这项工作。pivot()
只是简单使用的捷径,我想。htrmnn0y4#
pivot()
用于不进行聚合的透视,因此,它不能处理一个索引/列对的重复值。由于这里您的
index=['struct_id','resNum']
有多个副本,因此透视不起作用。但是,
pivot_table
将工作,因为它将通过聚合重复值来处理它们。ylamdve65#
我不太明白,但我会给予看的。我通常用堆叠/解堆叠代替旋转,这更接近你想要的吗?
我不知道为什么你的透视不起作用(在我看来它应该起作用,但我可能是错的),但如果我不使用'struct_id',它看起来确实起作用了(或者至少没有给予错误)。当然,对于完整的数据集,如果您有多个不同的'struct_id'值,这不是一个真正有用的解决方案。
编辑以添加:
reset_index()
将从多索引(分层)转换为更扁平的样式。列名中仍然有一些层次结构,有时最简单的方法就是执行df.columns=['var1','var2',...]
,尽管如果您执行一些搜索,还有更复杂的方法。df.set_index(['struct_id','resNum','score_type_name']).unstack().reset_index()
zzzyeukh6#
要将从
pivot_table
调用获得的 Dataframe 转换为所需格式:xienkqul7#
给定的代码片段可以帮助您进一步扁平化 Dataframe 的外观
qrjkbowd8#
在调用pivot之前,我们需要确保数据中没有指定列的重复值行。
具有重复给予的透视
如果我们不能确保这一点,我们可能不得不使用pivot_table方法。
有关更详细的说明,请访问下面的链接
https://nikgrozev.com/2015/07/01/reshaping-in-pandas-pivot-pivot-table-stack-and-unstack-explained-with-pictures/
vyu0f0g19#
使用函数
pivot
可以转换单个单元格(baz
)插入结果表中的单个单元格。但是,如果您有重复的索引列(foo
&bar
)对,如第二示例中,你需要聚集(在我的示例中为sum
)原始表中的几个单元格以获得结果表中的单个单元格。pivot
在这种情况下失败,注意,pivot_table
的默认聚合函数是"mean"
,您可以将pivot_table
应用于这两种情况并获得相同的结果。**一个
**第一个e第一个f第一个x