1.Pandas簡介

Pandas是基于Numpy的一個開源Python庫，被廣泛用于快速分析數據，以及數據清洗和準備工作。

Pandas中有兩類重要的數據結構，就是序列Series和數據框DataFrame。

2.Series和DataFrame數據結構

            
              import numpy as np
import pandas as pd
s1 = pd.Series(np.array([1,2,3,4,5]))
print(s1)
print("***************")
s2 = pd.Series(np.array([1,2,3]), index=['e','b','c'])
print(s2)
            
          

3.查詢數據

查詢數據前五行

查詢數據的末尾5行

查詢指定的列

查詢指定的行

查詢指定的行和指定的列

多條件查詢

4，統計分析

Series總和，均值，最大最小值，中位數，眾數

            
              import numpy as np
import pandas as pd
a = np.random.normal(size=10)
d1 = pd.Series(2*a+3)
d2 = np.random.f(2,4,size=10)
d3 = np.random.randint(1,100,size=10)
print(d1)
print(d2)
print(d3)
print(d1.count())     #非空元素的計算
print(d1.min())       #最小值
print(d1.max())       #最大值
print(d1.idxmin())    #最小值的位置
print(d1.idxmax())    #最大值的位置
print(d1.sum())       #求和
print(d1.mean())      #均值
print(d1.median())    #中位值
print(d1.mode())      #眾數
print(d1.var())       #方差
print(d1.std())      #標準差
print(d1.describe())   #一次性輸出多個描述性統計指標


#自定義一個函數，將這些指標全部匯總在一起
def stats(x):
    return pd.Series([x.max(),x.min()],index=["最大值","最小值"])

print(stats(d1))
            
          

5.DataFrame:df.shape:維度

? ? ? ? ? ? ? ? ? ? df.info:數據表的基本信息

? ? ? ? ? ? ? ? ? ? df.dtypes:每一列數據的格式

? ? ? ? ? ? ? ? ? ? df.columns:查詢列的名稱

? ? ? ? df.corr()相關系數的求解

? ? ? ? df.corrwith()

? ? ? ? df.cov()協方差

pandas實現Sql操作

            
              #pandas實現對數據的增刪改查
import pandas as pd
dict = {
    "Name":["LiuShunxiang","Zhangshan"],
    "Sex":["M","F"],
    "Age":[27,23],
    "Height":[165.7,167.2],
    "Weight":[61,63]
}
print(dict)
student1 = pd.DataFrame(dict)
print(student1)
dict1 = {
    "Name":["Liu","Zhang"],
    "Sex":["M","F"],
    "Age":[27,23],
    "Height":[165.7,167.2],
    "Weight":[61,63]
}

student2 = pd.DataFrame(dict1)

#將Student2中的數據增加到Student1中，通過concat數據實現
student3 = pd.concat([student1,student2],ignore_index="True")  #對index無視
print(student3)

#增加新的列--增加的新列沒有賦值，就會出現NAN的形式
print(pd.DataFrame(student2,columns=['Age','Heihgt','Name','Sex','Weight','Score']))

#刪除Student2
#del student2
#print(student2)
print("*************************")
#刪除指定的行
#print(student3.drop([0]))

#查找25歲以下的學生
print(student3[student3["Age"]<25])

#刪除指定的列
print(student3.drop(['Height','Weight'],axis=1))

#不論刪除行還是列，都可以通過drop方法來實現，只需要設定好刪除的軸即可，0刪除行，1刪除列。

print(student3)
#將Liu學生的身高改為173cm
student3.loc[student3['Name']=='Liu','Height']=173
print(student3)

#聚合groupby()
print(student3.groupby('Sex').mean())
print(student3.groupby(['Sex','Age']).mean())

#排序
print(student3.sort_values(by=['Sex','Age']))


#merge表的連接

            
          

merge

https://www.yiibai.com/pandas/python_pandas_merging_joining.html

6.缺失值處理

刪除法：當數據中某個變量大部分值都會缺失時，可以考慮刪除變量；

? ? ? ? ? ? ? dropna完成。

替補法：對于連續變量，變量的分布近似或就是正態分布的話，可以用均值代替那些缺失值；

? ? ? ? ? ? ? ?如果變量是有偏的，可以使用中位數來代替那些缺失值

? ? ? ? ? ? ? 對于離散變量，一般使用眾數替換存在的缺失預測

? ? ? ? ? ? ?fillna完成。

?

7.實現數據透視表的功能

8.多層索引

?

?

?

?

?

?

?

?

?

?

?

?

?