Java, Only Java!

统计

留言簿(19)

积分与排名

好友空间

文档技巧

阅读排行榜

评论排行榜

《Python 数据科学实践指南》读书笔记

全书总评

  • 书本印刷质量:4 星。印刷清楚,排版合适,错误很少。
  • 著作编写质量:3 星。Python 入门和与数据处理相关的各种模块的入门,以及数据处理的入门。作者是原著,写的确实是自己的东西,不是东抄西抄。只是实践部分的内容实在太浅薄了些。
  • 代码质量:4星。Python入门这本书的IT功底不够,中间可能会碰到一些坑,最好有点Python基础以后,用这本书查遗补缺。下载地址
  • 阅读笔记:记录需要记住的重点,方便快速回忆。

C01.Python 介绍

Python 版本

  • Python 2.x:2001 年发布,有许多资料和库基于这个版本编写;
  • Python 3.x:2009 年发布,与旧版本不兼容;

Python 解释器

  • Python是开源的,因此它的解释器有许多种实现,主流的是官方的解释器

Python 之禅

  • import this

C02.Python 基础知识

基础知识

  • 基础数据类型:在 Python 中,所有的元素都是“对象”。
    • None:表示什么都没有的类型;
    • int:表示整数的类型;
    • float:表示浮点数的类型;
    • bool:表示布尔数值的类型;
    • str:表示字符串的类型;
  • 变量与赋值:Python 的书写规范(PEP8)
    • 序列解包
  • 操作符与表达式:
    • 算术操作符:
    • 位操作符:
    • 比较操作符:
    • 逻辑操作符:and,or,not
  • 文本编辑器:
    • 文件编码:UTF-8

流程控制:

  • 条件判断(if…elif…else…):
  • 循环:
    • while:
    • for…in…:
  • 缩进,空白与注释
    • 缩进:分割代码块;
    • 空白:没有任何意义,只为美观;
    • 注释:
      • 单行注释:“#”
      • 多行注释:”"”…”””

函数及异常

函数:

  • 函数定义:def func_name()
  • 参数定义:
    • 实参:
    • 形参:
    • 位置参数(参数绑定):根据定义和调用函数时参数的位置进行参数的赋值;
    • 关键字参数:非关键字参数不能定义在关键字参数后面。
    • 可变数量的参数:def func(*args, **kwargs)
      • *args:位置形参,表示任意数量的位置参数都会合并成一个元组,绑定到 args 上;
      • **kwargs:关键字形参,表示任意数量的关键字参数都会合并成一个元组,绑定以 kwargs 上;
  • 递归:
  • 闭包(closure):又称词法闭包(Lexical Closure)或函数闭包(Function Closure),是引用了自由变量的函数。这个被引用的自由变量将和这个函数一同存在,即使已经离开了创建它的环境也不例外。

异常

  • 异常:(try…except…finally…)

字符串

  • 运算符:
    • “+”:字符串拼接;
    • “*”:字符串复制多份,然后拼接;
    • 切片 [start,stop,step]:
    • len():字符串长度;

获取键盘输入:

  • input(str):

字符串处理

  • 字符集
    • 字符(Character):是各种文字和符号的总称;
    • 字符集(Character Set):是多个字符的集合,字符集的各类很多,每个字符集包含的字符个数也不同。
    • 字符编码(Character Encoding):也称字集码,是把字符集中的字符编码按指定集合中的某一个对象,以便在计算机中存储和通过通信网络传递文本。
  • ASCII 字符集和编码
  • Unicode 字符集和 UTF-8 编码

字符串操作

  • 基本操作:
    • strip():移除字符串两侧的所有空白符;
    • capitalize():使字符串的首字母大写;
    • title():使字符串中每个单词的首字母大写;
    • lower():使字符串的所有字母小写;
    • upper():使字符串的所有字母大写;
    • isalnum():字符串中包含字母或者数字时为 True;
    • isdigit():字符串中只包含数字时为 True;
  • 分割:
    • split(delimiter):将字符串按指定分隔符分割;
    • rsplit(delimiter):将字符串从右边开始按指定分隔符分割;
  • 格式化:
    • %:print(‘%s’ %name)
    • format():print(‘{one} and {two}’.format(one=’1’,two=’2’))

正则表达式

  • 转义符:P55
  • re 模块:
    • re.compile():匹配模式;
      • match():匹配字符串;

C05. 容器(Container)与集合(Collections)

元组(Tuple)

  • 元组:与字符串一样,是有序的序列,不可以改变内容
  • 基本操作:连接、切片都与字符串保持一致;
  • 序列解包:也称多重赋值;
  • 支持迭代器协议,支持 for 循环

列表(List)

  • 列表:也是序列类型的对象,但是可以改变列表中的内容;
  • 基本操作:连接、切片都与字符串保持一致;
  • 更改操作:
    • pop():删除列表中的数据,并将删除的数据返回;
    • insert():插入数据;
    • append():追加数据;
    • extend():拼接列表;
  • 引用传递:所有的赋值都只是引用的传递,并没有创建新的数据;
    • list[:]:浅拷贝,只拷贝第一层引用的数据;
    • deepcopy():深拷贝,拷贝所有引用的数据;
  • 列表解析式:构造列表的方式,将一个函数作用到整个列表中每个元素的方式;[x for x in range(1,3)]

字典(Dictionary)

  • 字典在其他语言中被称为散列表,由 key:value 对通过{}组成的无序结构。
  • 常用的函数:
    • get(key):通过 key 取得对应的 value;还可以通过链式调用取值;
    • dict(list):构建新的字典;
    • dict.keys():获取字典的 keys 迭代;
    • dict.values():获取字典的 values 迭代;
    • dict.items():获取字典的 key:value 对的迭代;
    • dict.pop(key):取出指定关键字的值;
    • dict.update(key):更新字典中对应的 key 中的 value;

集合(Collections)

  • namedtuple():具名元组。
  • Counter():累加器,可以用来做经典的 word count;
  • defaultdict():为字典设定一个默认值;
  • OrderedDict():使字典有序;

C06.Python 标准库

数学模块:math

  • 常见常量:默认精度为 15 位,最多可以取得 48 位
    • math.pi
    • math.e
  • 无穷大与无效数字:
    • math.inf:表示“无穷大”,是 infinite 的缩写。math.inf*math.inf==math.inf
    • math.nan:表示“无效数字”,是 Not a number 的缩写。math.inf/math.inf==math.nan
    • int 的范围:在 3.5 中 int 长度理论上是无限的
    • float 的范围:1e-309~1e+309
  • 浮点数转换为整数:
    • math.trunc(f):截掉浮点型小数点后面的数字;
    • math.floor(f):取最接近浮点型数字的整数;
    • math.ceil(f):取比当前浮点型数字大的整数;
  • 绝对值和符号:
    • math.fabs(f):浮点数的绝对值;
    • math.copysign(x,y):符号函数,将 y 的符号传递给 x;
  • 常用计算:
    • math.fsum(values):解决 sum(values) 不能精确计算的问题;
    • math.factorial(x):阶乘计算函数。
  • 指数和对数:
    • math.pow(x,y):x 的 y 次幂;
    • math.log(x):x 以 e 为底的对数;
    • math.log10(x):x 以 10 为底的对数;

时间模块:time,datetime,calendar

  • time 模块:基础的时间处理模块;
    • time.time():表示为数字时间戳,即从格林威治时间:1970-1-1,0:0:0(北京时间:1970-1-1,8:0:0)以来所经历过的秒数;
    • time.ctime(x):没有 x 则返回当前时间的字符串版本,有 x 则返回从时间戳开始经过了 x 秒后的时间的字符串。
    • struct_time:具名元组,可以分别获得年 (tm_year)、月 (tm_mon)、当月第几日 (tm_mday)、时 (tm_hour)、分 (tm_min)、秒 (tm_sec),星期几 (tm_way,星期一是 0),当年第几天 (tm_yday),是否夏令时 (tm_isdst,没有为 0);
      • time.gmtime():格林威治下的 struct_time;
      • time.localtime():当前电脑所在时区的 struct_time;
      • time.mktime(struct_time):还原成数字时间戳的方式;
      • time.strptime(string,format):将字符串格式的时间按照格式转换成 struct_time 格式;
      • time.strftime(format,struct_time):将 struct_time 格式的时间元组转换成字符串格式;
  • datetime 模块:针对年月日和时分秒分别进行处理;
  • calendar 模块:处理万年历;

随机数模块:random

  • 随机数生成器:
    • random.random():生成均匀分布的浮点随机数,在半开半闭区间 [0.0, 1.0);
    • random.seed():设置随机数种子;
    • random.randint(a,b):返回整型随机数,在闭区间 [a,b];
    • random.randrange():返回整型随机数,在半开半闭区间 [a,b);

取样:

  • random.shuffle(list):按随机性质将列表重新排列顺序;
  • random.choice(list):按随机性质从列表中抽取数据;
  • random.sample(list,k):按随机性质从列表中抽取指定长度的数据;

文件处理:glob 和 fileinput

  • open(filename,mode):基于 mode 模式打开 filename 文件;还支持上下文管理器 with 模式;
  • glob 模块:目录处理;
  • fileinput 模块:批量文件读入;是一个帮助类;

压缩:bz2 和 gzip

  • 不建议使用的压缩格式:
    • rar:专门服务于 Windows 下,Python 需要第三方库才能打开;
    • tar:只用于打包文件,不对文件进行压缩;
    • zip:既可以压缩文件,还可以打包文件,因为自带打包功能,不适合用于对文件单独压缩;
  • 建议使用的压缩格式
    • bz2 模块:对单个文件可写可读,非常方便;
    • gzip 模块:对单个文件可写可读,非常方便;

漂亮打印:pprint 模块

跟踪异常日志:traceback 模块

网络数据传输:JSON

  • json.loads():将 JSON 转换成字典;
  • json.dumps():将字典转换成 JSON;

C07. 用 Python 读写外部数据

CSV,csv 模块

  • csv.reader():读取文件;
  • csv.writer():写入文件;
  • csv.register_dialect():delimiter= 注册分割符;
  • csv.DictReader():按照字典结构读取数据;*

Excel,pandas 模块(参考 C10)

  • pandas.read_excel():读取文件;
  • pandas.to_excel():写入文件;
  • pandas.set_option():设置属性值;
  • pandas.DataFrame():表格结构;

MySQL,MySQLdb 模块,torndb 模块

  • db=torndb.Connection(host,database,user,password):建立数据库链接;
  • db.insert(SQL),db.insertmany(SQL):向数据库中插入单行数据,插入多行数据;
  • db.query(SQL):从数据库读取数据;

PostgreSQL,psycopg2 模块

MongoDB,pymongo 模块

ElasticSearch,elasticsearch 模块

C08. 用 Python 解决统计问题

  • pandas 模块许多函数发生了改变;在 Python 3.7 下 read_excel() 运行有问题;统计都没办法测试了。

描述性统计

  • 均值:
  • 中位数:
  • 方差:
  • 标准差:

数据可视化

  • 基本函数:
    • plot()
    • show()
    • figure()
    • title()
    • xlabel()
    • ylabel()
    • legend()
  • 图形:
    • 折线图:
    • 散点图:
    • 柱状图:bar()
    • 饼图:pie()

C09. 爬虫入门

request 模块

  • HTTP 协议:
  • 获取 HTML 内容:

Xpath 模块

  • 解析 HTML 内容:
  • 这个模块已经没有匹配 Python3.7 的版本了,放弃这个学习。

C10. 数据科学的第三方库

Numpy 模块

  • ndarray:
    • 创建:
      • arange()
      • linspace():度量等宽
      • random.random():随机数
    • 属性:
      • ndim:数组的维度;
      • shape:数组的形状;
      • dtype.name:数组中数据的类型;
      • itemsize:数组类型占用的内存空间大小;
      • size:数组中元素个数;
    • 创建特定数组:
      • zeros():全零矩阵;
      • ones():全 1 矩阵;
      • empty():随机的小值组成的矩阵;
  • 基本运算:数组运算是基于元素计算的
    • 矩阵乘法:dot()
    • 迭代:与列表类似,直接迭代按行取数,flat() 可以把数组摊平为一维数组
    • 变形:resize() 原地修改数组;reshape() 输出一个变形后的数组,原数组不变;
    • 堆叠:hstack() 行数相同,水平堆叠;vstack() 列数相同,垂直堆叠;
  • 高级运算
    • transpose():转置;
    • linalg.inv():取逆;
    • eye():单位阵;
    • trace():取迹;
    • linalg.solve():解线性方程;
    • linalg.eig():解特征方程;

从这里开始,先弃了,这本书适合了解了以后,再来根据作者的实践角度查遗补缺。

Pandas 模块

Scikit-Learn 模块

C11. 图数据分析

图论基础

NetworkX 模块

利用 NetworkX 进行图分析

C12. 大数据工具

Hadoop

Spark

posted on 2019-03-19 12:51 zYx.Tom 阅读(20) 评论(0)  编辑  收藏 所属分类: 5.数据世界7.学习日志


只有注册用户登录后才能发表评论。


网站导航: