2023年7月10日发(作者：)

python数据分析实训_⼊门实践，Python数据分析1-2 Anaconda和Jupyter notebook介绍Anaconda是什么1 最著名的Python数据科学平台2 750流⾏的Python&R包3 跨平台：windows,Mac,Linux4 condaL:可扩展的包管理⼯具5 免费分发6 ⾮常活跃的社区复制代码Anaconda的安装2 检验是否安装成功cd ~/anacondaanaconda bin/conda --versionConda的Environment管理1 创建⼀个新的environmentconda create --name python34 python=3.42 激活⼀个environmentactivate python34 # for Windowssource activate python34 # for linuc & Mac3 退出⼀个environmentdeactivate python34 # for Windowssource deactivate python344 删除⼀个environmentconda remmove --name python34 --all复制代码Conda的package的管理1 Conda的包管理有点类似pip2 安装⼀个Python包conda install numpy3 查看已安装的Python包conda list复制代码conda list -n python34 # 查看指定环境安装的Python包4 删除⼀个Python包conda remove -n python34 numpy复制代码什么是iPython⼀个强⼤的交互式shell是jupyter的kernel⽀持交互式数据分析和可视化什么是Jupyter Notebook前⾝是IPython notebookl⼀个开源的web application可以创建和分享包含代码，视图，注释的⽂档、可以⽤于数据统计，分析，建模，机器学习等领域notebook的⽂件格式（.ipynb）由Ipython Notebook 定义的⼀种格式（json）可以读取在线数据，CSV/XLS⽂件可以转化为其他格式，（py,,md等）NBViewer⼀个online的ipynb格式notebook展⽰⼯具可以通过URL分享Github集成了NBViewer通过转换器轻松集成到Blogs Emails,Wikis,Books实验室环境在Windows/Mac/Linux上安装Anaconda在使⽤Python3.6作为基础环境使⽤Jupyter Notebook 作为编程IDE1-4 Anaconda在windows上安装演⽰安装之后，按住win点击jupyter botebook浏览器输⼊localhost:88881-5 Anaconda在Linux上的安装演⽰# 在linux机器中sh Anaconda3-2020.02-Linux-x86_# 进⼊命令号1 按回车2 yes3 选择安装⽬录，这个时候⽬录不变，回车需要两分钟4 安装完之后需要选择什么什么玩意，选择yes在根⽬录中会看见⼀个anaconda的⽂件夹，进⼊⽂件夹可以看到很多⽬录cd ~/anaconda3cd bin可以很多的⽂件夹./anaconda --version # 查看conda版本号./jupyter notebook --no-browser # 在本地运⾏jupyter#要是抛错Running as root is not recommended. Use --allow-root to bypass../jupyter notebook --no-browser --allow-root# 但是这样只能本地访问jupyter，如何实现远程访问呢？ssh端⼝转发# 在本地执⾏端⼝转发命令ssh -N -f -L localhost:8888:localhost:8888 root@{ip地址}>>>password# 本地浏览器执⾏localhost:8888,就可以看见linux上的jupyter的页⾯了执⾏print('hello world')# jupyter执⾏命令⾏:ifconfig复制代码1-6 Jupyter-notebook的使⽤演⽰进⼊jupeter浏览器中之后点击new-->Terminal,显⽰命令⾏界⾯# 换⽬录执⾏jupeter，并把当前⽬录当做⼯作⽬录/root/anaconda3/bin/jupyter notebook --no-browser --allow-root复制代码第2章 Numpy⼊门2-1 数据科学领域5个常⽤Python库numpyscipyPandasMatplotlibScikit-learn复制代码Number数据处理⾥⾯最基础的库N维数组（矩阵），快速⾼效，⽮量数学运算⾼效的index,不需要循环开源免费跨平台，运⾏效率⾜以和C/Matlab媲美Scipy依赖于Numpy专为科学和⼯程设计实现了多种常⽤科学计算：线性代数，傅⾥叶变换，信号和图像处理Pandas结构化数据分析利器（依赖Numpy）提供了多种⾼级数据结构：Time-Series,DataFrame,Panel强⼤的数据索引和处理能⼒MatplotlibPython 2D绘图领域使⽤最⼴泛的套件基本能取代Matlab的绘图功能（散点，曲线，柱形等）通过mplot3d可以绘制精美的3D图Scikit-learn机器学习的Python模块建⽴在Scipy之上，提供了常⽤的机器学习算法：聚类，回归简单易学的API接⼝2-2 数学基础回顾之矩阵运算基本概念矩阵：是指1xn或者nx1的矩阵标量：1x1的矩阵数组：N维的数组，是矩阵的延伸特殊矩阵矩阵加减运算相加，相减的两个矩阵必须要有相同的⾏和列⾏和列对应元素相加减数组乘法(点乘）矩阵乘法清华⼤学出版的线性代数复制代码2-3 Array的创建及访问import munpy as np# create from python listlist_1 = [1,2,3,4]array_1 = (list_1) # ⽣成⼀个⼀维数组list_2 = [6,7,8,9]array_2 = ([list_1,list_2]) # 创建⼀个⼆维数组print(array_2)print(array_) #数组⾥元素的个数print(array_) # 查看矩阵或数组的维数print(array_) #数组元素的类型array_4 = (1,10,2) # 使⽤arange创建数组print(array_4) # array([1, 3, 5, 7, 9])(5) # 全0矩阵 array([0., 0., 0., 0., 0.])([2,3]) # 多维全0矩阵array([[0., 0., 0.],[0., 0., 0.]])(5) # 单位矩阵array([[1., 0., 0., 0., 0.],[0., 1., 0., 0., 0.],[0., 0., 1., 0., 0.],[0., 0., 0., 1., 0.],[0., 0., 0., 0., 1.]])# 数组的访问a = (10)print(a) # array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])a[2] # 2a[1:5] # array([1, 2, 3, 4])b = ([[1,2,3,4],[5,6,7,8]]) # 矩阵b[1,0] # 矩阵取值（第⼆个数组第⼀个值） # 5c = ([[1,2,3],[4,5,6],[7,8,9]])c[:2,1:] # 第⼀个元素是⾏，第⼆个元素是列#array([[2, 3],[5, 6]])复制代码2-4 数组与矩阵运算快速创建数组import numpy as (10) # 创建⼀个⼗维数组，且是动态分布的"""array([-0.7512065 , 0.97527973, -1.24433992, 0.86890475, -0.51251532,-0.02522675, -0.40664444, 0.66399272, -0.94669869, 1.52843227])"""t(10) # 返回⼀个10以内的随机整数t(10, size=(2,3)) #返回⼀个值在10以内的2x3的数组"""array([[1, 8, 1],[6, 1, 8]])"""t(10,size=20).reshape(4,5) #返回⼀个⼤⼩为20的4x5的整数随机数组"""array([[6, 6, 4, 8, 9],[0, 9, 1, 0, 8],[6, 2, 6, 1, 3],[5, 4, 8, 9, 2]])"""复制代码数组的运算a = t(10,size=20).reshape(4,5)b = t(10,size=20).reshape(4,5)# ⽣成的a,b都是⼀个元素值⼩于10，数量为20的⼀个4x5的多维数组a+b # 多维数组相加减就是对应位置元素值相加a-b # 多维数组相加减就是对应位置元素值相减a * b # 多维数组相乘就是对应位置元素值相乘a / b # 多维数组相乘就是对应位置元素值做除法--有的时候会抛错，是因为如果数学运算中0不能做除数复制代码矩阵矩阵的命令其实跟数组差不多([[1,2,3],[4,5,6]]) #创建⼀个矩阵"""matrix([[1, 2, 3],[4, 5, 6]])"""# 数组转化为矩阵a = ([1,2,3])(a) # matrix([[1, 2, 3]])复制代码矩阵的运算A = (t(10,size=20).reshape(4,5))B = (t(10,size=20).reshape(4,5))A+B # 元素相加A-B # 元素值相减# 矩阵的乘法运算要求第⼀个值得⾏和第⼆个值的列数量⼀致A = (t(10,size=20).reshape(4,5))B = (t(10,size=20).reshape(5,4))A * B"""matrix([[ 59, 137, 69, 80],[ 77, 174, 124, 142],[ 48, 128, 44, 124],[ 54, 121, 102, 94]])"""复制代码Array常⽤函数import numpy as npa = t(10, size=20).reshape(4,5)(a) # 数组⾥⾯的唯⼀值sum(a) #将矩阵的所有的列的和重新组合成⼀个数组"""matrix([[21, 16, 24, 17, 9]])"""sum(a[0]) # 计算某⼀⾏的值sum(a[:,0]) # 计算某⼀列的值() #查看数组中最⼤值(a[0]) # 查看第⼀⾏的最⼤值(a[：，0]) # 查看第⼀列的最⼤值复制代码使⽤pickle序列化Numpy arrayimport numpy as npx = (10)# 将数组保存到硬盘f = open('1','wb')(x,f)# 读取硬盘中的数组f = open('1','rb')(f)('one_array',x) # 将数组序列化到硬盘('one_') # 读取⽂件a = (10)b = (20)('two_',a=a,b=b) # ⼀个⽂件保存多个数组c = ('two_') # 取数组c['a']c['b']复制代码