Pandas 入门

1. ‘Series’：数据系列，代表一维数据，较numpy中的一维数组更强大；
2. ‘DataFrame’：数据窗/数据框/数据表，代表二维数据，封装了数据分析常用的各种方法；
3. ‘Index’：索引，为Series和DataFrame提供数据索引服务。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = ['STFangsong']
plt.rcParams['axes.unicode_minus'] = False

%config InlineBackend.figure_format = 'svg'

1.1 Series

可自定义索引，默认为0,1,2,3…

自定义索引后仍可使用默认索引，也可使用逆向索引

未自定义默认索引不允许使用逆向索引

# 创建Series对象
# 方式一
ser1 = pd.Series(data = [12,54,78,95],index = [f'{x}季度' for x in '一二三四'])
ser1

一季度    12
二季度    54
三季度    78
四季度    95
dtype: int64

ser1['一季度']

12

多条数据取出来仍为一个系列

ser1[ser1 >= 60]

三季度    78
四季度    95
dtype: int64

# 花式索引
ser1[['一季度','三季度']]

一季度    12
三季度    78
dtype: int64

# 方式二
ser2 = pd.Series(data={'一季度':253,'二季度':563,'三季度':193,'四季度':245})
ser2

一季度    253
二季度    563
三季度    193
四季度    245
dtype: int64

Series 属性

ser2.二季度

563

# ser2数据类型
ser2.dtype

dtype('int64')

# ser2类型
type(ser2)

pandas.core.series.Series

# ser2索引
ser2.index

Index(['一季度', '二季度', '三季度', '四季度'], dtype='object')

# ser2值
ser2.values

array([253, 563, 193, 245], dtype=int64)

# ser2元素个数
ser2.size

4

# ser2元素是否唯一,True:唯一
ser2.is_unique

True

# ser2是否含有空值,False:不含有
ser2.hasnans

False

ser2.loc['二季度':'四季度']

二季度    563
三季度    193
四季度    245
dtype: int64

# ser2是否单调
ser2.is_monotonic

False

Series 方法

# 获取描述性统计信息 ---> 集中趋势
print(ser2.sum())  #求和
print(ser2.mean())  #平均值
print(ser2.median())   #中位数
print(ser2.quantile())   # 中位数
print(ser2.mode())   #众数 - 出现频次相同全都打印

1254
313.5
249.0
249.0
0    193
1    245
2    253
3    563
dtype: int64

# 获取描述性统计信息 ---> 离散趋势
print(ser2.max())  #最大值
print(ser2.min())  #最小值
print(ser2.var())  #方差
print(ser2.std())  #标准差
print(ser2.quantile(0.25))  #下四分位数(0.25,0.5,0.75)默认为0.5(中位数)

563
193
28374.333333333332
168.44682642701622
232.0

# 数据系列描述
ser2.describe()

count      4.000000
mean     313.500000
std      168.446826
min      193.000000
25%      232.000000
50%      249.000000
75%      330.500000
max      563.000000
dtype: float64

ser3 = pd.Series(data=[1,2,5,9,5,9,1,6,4,1,9])
ser3

0     1
1     2
2     5
3     9
4     5
5     9
6     1
7     6
8     4
9     1
10    9
dtype: int64

# 去重 ---> ndarray(返回数组)
ser3.unique()

array([1, 2, 5, 9, 6, 4], dtype=int64)

# 去重后元素个数
ser3.nunique()

6

# 元素重复频次（按频次降序排列）
ser3.value_counts()

# 删除重复元素 --->series(去重)
# 保留相同元素的第一个（默认）
ser3.drop_duplicates()

0    1
1    2
2    5
3    9
7    6
8    4
dtype: int64

# 去重 保留相同元素的最后一个
ser3.drop_duplicates(keep = 'last')

# 去重 相同元素一个不留，只保留不同元素
ser3.drop_duplicates(keep = False)

上面去重方法均未改变原数据系列(ser3)
想要在原数据系列做修改设置inplace = True

# inplace - 是否就地删除(改变ser3)
# True - 就地操作，不返回新对象 ---> None
# False(默认值) - 返回操作后的新对象 ---> Series
ser3.drop_duplicates(keep=False,inplace=True)
ser3

ser4 = pd.Series(data=[10, 20, np.NaN, 30, np.NaN])
ser4

0    10.0
1    20.0
2     NaN
3    30.0
4     NaN
dtype: float64

# 删除指定索引数据，原数据系列不变
ser4.drop(index = [2,4])
# ser4.drop(index = 2)

0    10.0
1    20.0
3    30.0
dtype: float64

# 判断是否为空
ser4.isnull()

0    False
1    False
2     True
3    False
4     True
dtype: bool

# 删除空值
ser4.dropna()

0    10.0
1    20.0
3    30.0
dtype: float64

# 填充空值 指定值
ser4.fillna(50)

0    10.0
1    20.0
2    50.0
3    30.0
4    50.0
dtype: float64

# 填充空值 邻近的前面的值
ser4.fillna(method='ffill')

0    10.0
1    20.0
2    20.0
3    30.0
4    30.0
dtype: float64

# 填充空值 邻近的后面的值
ser4.fillna(method='bfill')

0    10.0
1    20.0
2    30.0
3    30.0
4     NaN
dtype: float64

# 填充空值 可使用级联操作
ser4.fillna(method='bfill').fillna(method='ffill')

0    10.0
1    20.0
2    30.0
3    30.0
4    30.0
dtype: float64

# 给索引(Unicode编码)排序
# ord('三') = 19977,ord('二') = 20108(这就是为什么打印结果三季度在二季度前面的原因)
# ascending - 升序/降序 默认为True(升序)
ser1.sort_index()

一季度    12
三季度    78
二季度    54
四季度    95
dtype: int64

# 值排序
ser1.sort_values(ascending=False)

四季度    95
三季度    78
二季度    54
一季度    12
dtype: int64

# Top - N 
ser1.nlargest(2)

四季度    95
三季度    78
dtype: int64

# Min - N 
ser1.nsmallest(2)

一季度    12
二季度    54
dtype: int64

ser5 = pd.Series(['cat', 'dog', np.nan, 'rabbit'])
ser5

0       cat
1       dog
2       NaN
3    rabbit
dtype: object

# 格式化 na_action='ignore'忽略空值
ser5.map('I am a {}'.format,na_action='ignore')

0       I am a cat
1       I am a dog
2              NaN
3    I am a rabbit
dtype: object

ser6 = pd.Series(np.random.randint(30,80,10))
ser6

0    77
1    67
2    49
3    41
4    62
5    41
6    57
7    64
8    39
9    56
dtype: int32

def handle(score):
    return score ** 0.5 * 10

# map
np.round(ser6.map(handle),0)

0    88.0
1    82.0
2    70.0
3    64.0
4    79.0
5    64.0
6    75.0
7    80.0
8    62.0
9    75.0
dtype: float64

# 应用
np.round(ser6.apply(handle),0)

0    88.0
1    82.0
2    70.0
3    64.0
4    79.0
5    64.0
6    75.0
7    80.0
8    62.0
9    75.0
dtype: float64

ser1

一季度    12
二季度    54
三季度    78
四季度    95
dtype: int64

线性归一化：
X ′ = X i − X m i n X m a x − X m i n X' = \frac{X_{i} - X_{min}}{X_{max} - X_{min}}X′=Xmax​−Xmin​Xi​−Xmin​​

零均值归一化(标准化)：
X ′ = X i − μ σ X' = \frac{X_{i} - μ}{σ}X′=σXi​−μ​
其中 x 为某个特征的原始值， μ为该特征在所有样本中的平均值，σ 为该特征在所有样本中的标准差， X’ 为经过标准化处理后的特征值 ~ N(0, 1)

# 线性归一化
ser1.map(lambda x: (x - ser1.min()) / (ser1.max() - ser1.min()))

一季度    0.000000
二季度    0.506024
三季度    0.795181
四季度    1.000000
dtype: float64

ser1.plot(kind = 'bar')
plt.xticks(rotation = 0)   # x坐标描述旋转0度
# 添加网格线
plt.grid(True,alpha = 0.5,axis = 'y',linestyle = ':')
plt.show

<function matplotlib.pyplot.show(close=None, block=None)>

​

​

# 饼图
ser1.plot(kind = 'pie',autopct = '%.2f%%')  # 自动显示百分比。要显示百分号要写两个%%,第一个表示转义字符
plt.ylabel('')
plt.show

<function matplotlib.pyplot.show(close=None, block=None)>

​

# 零均值归一化
temp_ser = ser1.map(lambda x: (x - ser1.mean()) / ser1.std())
# print(np.std(ser1)) # 总体标准偏差(计算结果/N)
# print(ser1.std()) # 样本标准偏差(计算结果/(N-1))
temp_ser

一季度   -1.326261
二季度   -0.159707
三季度    0.506896
四季度    0.979072
dtype: float64

print('均值：',temp_ser.mean())
print('标准差',temp_ser.std())

均值： 0.0
标准差 1.0

1.2 DataFrame

1.2.1 创建DataFrame对象

# 第一种：通过二维数组创建DataFrame(参考基本使用文章分数例子)
# 第二种：通过字典创建DataFrame(参考Numpy高级使用波士顿房价)
# 第三种：读取CSV文件创建DataFrame
df = pd.read_csv('../files/data/订单.csv',encoding = 'utf-8')
df
# 参数设置
# sep = ''指定分隔符，默认为逗号；nrows = 20：控制读取行数
# skiprows = [5,6] - 跳过指定行 skiprows = range(1,11) - 跳过1-10行（0行是表头）

1832 rows × 10 columns

# 取指定位置的指定行
temp_df = pd.read_csv('../files/data/订单.csv',encoding = 'utf-8',
                     nrows = 20, skiprows = range(50,70))
temp_df

# 第四种：读取Excel文件创建DataFrame
df1 = pd.read_excel('../files/data/2020年销售数据.xlsx',sheet_name = 'Sheet1')
df1
# 参数设置
# sheet_name = 'SheetName'指定读取的工作表，默认为活跃表
# header = RowNumber 指定表头行；默认为0
# use_cols = (ColName1,ColName2...) 指定只读列

1945 rows × 9 columns

df2 = pd.read_csv('../files/data/2018年北京积分落户数据.csv',encoding = 'utf-8')
df2

6019 rows × 5 columns

df3 = pd.read_excel('../files/data/口罩销售数据.xlsx')
df3

999 rows × 7 columns

安装pymysql

!pip install pymysql

Looking in indexes: https://pypi.doubanio.com/simple
Requirement already satisfied: pymysql in d:\programs\python\python38\lib\site-packages (1.0.2)

import pymysql

conn = pymysql.connect(host = 'localhost',port = 3306,user = 'root',
                      password = 'YourPassword',database = 'DatabaseName',charset = 'utf8mb4')
conn  # 检查连接结果

<pymysql.connections.Connection at 0x22232ea2b50>

# 第五种：通过SQL数据库读取创建DataFrame
dept_df = pd.read_sql('select dno ,dname,dloc from tb_dept',conn,
                     index_col = 'dno')# 设置索引为dno列
dept_df

emp_df = pd.read_sql('select eno ,ename,job,mgr,sal from tb_emp',conn,
                     index_col = 'eno')   # 索引列(将指定的列作为索引列)
emp_df

# 查看表信息
emp_df.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 14 entries, 1359 to 7800
Data columns (total 4 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   ename   14 non-null     object 
 1   job     14 non-null     object 
 2   mgr     13 non-null     float64
 3   sal     14 non-null     int64  
dtypes: float64(1), int64(1), object(2)
memory usage: 560.0+ bytes

# 取到的每一列都是数据系列
emp_df['ename']

eno
1359    胡一刀
2056     乔峰
3088    李莫愁
3211    张无忌
3233    丘处机
3244    欧阳锋
3251    张翠山
3344     黄蓉
3577     杨过
3588    朱九真
4466    苗人凤
5234     郭靖
5566    宋远桥
7800    张三丰
Name: ename, dtype: object

# 单取某一行也是数据系列
# obj.loc[index]
emp_df.loc[1359]
emp_df.loc[[1359,5566]]   #花式索引

# 切片&整数（默认）索引
emp_df.iloc[0:3]

# 修改某单元跟值
emp_df.loc[1359,'ename'] = '胡二刀'

emp_df

索引行时必须使用索引器 obj.loc [ RowIndex]

# 查看前某行，默认为5
emp_df.head()

# 查看后三行，默认为5
emp_df.tail(3)

# 添加列
emp_df['婚姻状态'] = '未婚'
emp_df

emp_df.loc[3088,'婚姻状态'] = '已婚'
emp_df

# 添加行
emp_df.loc[9999]={'ename':'蜘蛛侠','job':'架构师','mgr':np.nan,'sal':9000,'婚姻状态':'未婚'}
emp_df

# 删除指定列 inplace = True - 在原表上做修改
# emp_df.drop(columns = ['婚姻状态'],inplace=True)
emp_df

# 删除指定行
emp_df.drop(index = 9999,inplace=True)
emp_df

# 修改列名
emp_df.rename(columns={'ename':'姓名','job':'职位','mgr':'主管','sal':'薪水'},inplace=True)
emp_df

# 调整列顺序(重新调整)
emp_df1 = emp_df.reindex(columns=['姓名','职位','薪水','主管'])
emp_df1

# 重新设置索引，将eno重置为正常列（去掉之前设置的索引列）
emp_df.reset_index(inplace=True)
emp_df

# 设置索引，将某列设置为索引
emp_df2 = emp_df.set_index('eno')
emp_df2

# 设置多个索引
emp_df3 = emp_df.set_index(['eno','姓名'])
emp_df3

emp_df3.reset_index(level = 1)