点击上方关注，All in AI中国

作者——arvind

Python在解决数据科学任务以及相关挑战方面依旧处于领先地位。去年，一篇关于常用Python库的博客文章被证明是当时最新的"资源列表"。今年，我们在原有的基础上增加了新的库，并对我们已经讨论过的库进行了更新，但重点将放在今年一些重大的更新上。

我们的选择实际上包含20个库，因为其中一些库是相互替代的，并且解决了相同的问题。因此，我们将它们归为一类，目前很难区分出这20个库里面谁更好用。

核心库与相关统计

1.NumPy

我们从最常用的库开始，NumPy是这个领域的主要库之一。它多用于处理大型的多维数组和矩阵，以及大量高级数学函数和实现方法的集合，使得通过这些对象执行各种操作成为可能。

在这一年里，NumPy做了大量的改进。除了bug修复和兼容性问题之外，关键的更改还涉及样式的可能性。另外，一些函数现在可以处理Python中可用的任何编码文件。

2.SciPy

日常科学计算的另一个核心库是SciPy。SciPy是一种使用NumPy来做高等数学、信号处理、优化、统计和许多其它科学任务的语言扩展。它基于NumPy，并扩展了NumPy的功能。SciPy主数据结构是由Numpy实现的多维数组。这个

包包含了解决线性代数、概率论、积分和更多任务的工具。

scipy和numpy默认都没有提供绘图函数。它们仅仅是数值工具。推荐的绘图工具包是。在Windows、Mac OS X和Linux下，所有这些工具都由提供。

3.Pandas

Pandas是一个Python库，提供了高级数据结构和各种分析工具。这个包的最大特点是能够将复杂的数据操作转换成一两个命令。Pandas包含许多用于分组、过滤和组合数据以及时间序列功能的内置方法。

Pandas在最近的版本更新中，增加了数百个新特性、并且对bug进行修复以及API更改。这些改进考虑了对数据进行分组和排序的能力，更适合输出以及对自定义类型操作的支持。

4.StatsModels

Statsmodels是一个Python模块，它为统计数据分析提供了许多机会，例如统计模型、执行统计测试等。在它的帮助下，你可以实现许多机器学习方法并探索不同的可能性。

可视化

5.Matplotlib

Matplotlib是一个用于创建二维图表和图形的库。在它的帮助下，你可以构建不同的图表，从直方图、散点图到笛卡尔坐标图。此外，许多流行的库都支持与Matplotlib协同工作。

Mapplotlib主要都是用纯Python写的，但是为了在运行时有更高的性能，特别是在显示大量数组数据的情况下，里面也大量使用了NumPy和其他的扩展代码。

6.Seaborn

Seaborn本质上是一个基于matplotlib库的高级API。它包含许多适合处理图表的默认设置。此外，还有一个丰富的可视化图库。

7.Plotly

Plotly是一个流行的库，允许你轻松构建复杂的图形。该包适用于交互式web应用程序。它引人注目的可视化效果包括图形、3D图表等。

Plotly可以与R、python、matlab等软件对接，并且是开源免费的，对于Python，Plotly与Python中matplotlib、numpy、pandas等库可以无缝地集成，可以做出很多非常丰富，互动的图表，并且文档非常健全，创建图形相对简单。

8.Bokeh

Bokeh库通过JavaScript在浏览器中创建交互式、可伸缩的可视化效果。这个库提供了各种各样的图形和样式的可能性。

9.Pydot

Pydot是一个用于生成复杂的有向图和无向图的库。它是一个用纯Python编写的Graphviz"接口"。有了它的帮助，就可以显示图的结构，这是在构建神经网络和基于决策树的算法时经常需要的。

机器学习

10.Scikit-learn

这个基于NumPy和SciPy的Python模块是处理数据最好的库之一。它为许多标准的机器学习和数据挖掘任务提供算法，如聚类、回归、分类、降维和模型选择。

11.XGBoost / LightGBM / CatBoost

梯度提升是目前最流行的机器学习算法之一，它是建立一个连续的精细的基本模型的集合，即决策树。因此，设计了专门的库来快速方便地实现这种方法。也就是说，我们认为XGBoost、LightGBM和CatBoost值得特别关注。

它们都是解决一个共同问题的竞争者，并且使用的方式几乎相同。这些库提供了高度优化的、可伸缩的和快速的梯度提升实现，这使得它们在日常的应用中非常流行。

12.Eli5

通常我们对机器学习模型预测的结果并不完全清楚，而eli5库就是帮助我们解决我们所面临的这种困境。它是一个用于可视化和调试机器学习模型以及逐步跟踪算法工作的软件包。它为scikit-learn、XGBoost、LightGBM、lightning和sklearn-crfsuite库提供支持，并在每个库执行不同的任务。

深度学习

13.TensorFlow

TensorFlow是在谷歌大脑中开发的一个用于深度和机器学习的流行框架。它提供了与具有多个数据集的人工神经网络一起工作的能力。在最流行的TensorFlow应用程序中，有对象识别、语音识别等。

这个库更新速度很快，其中最新版本是修复了潜在的安全漏洞，改进了TensorFlow和GPU集成，比如可以在一台机器上的多个GPU上运行一个Estimator模型。

14.PyTorch

PyTorch是一个大型框架，允许你使用GPU加速执行张量计算，创建动态计算图，并自动计算梯度。在此之上，PyTorch为解决与神经网络相关的应用程序提供了丰富的API。

这个库基于Torch，是一个开源的深度学习库，通过C语言实现。从2017年起进入众人视野，该框架就越来越受欢迎，并吸引了越来越多的数据科学家。

15.Keras

Keras是一个用于处理神经网络的高级库，运行在TensorFlow、Theano之上。在最新的版本中，还可以使用CNTK和MxNet作为后端。它简化了许多特定的任务，大大减少了代码的数量。但是，它可能不适用于一些复杂的事情。Keras 为支持快速实验而生，能够把你的想法迅速转换为结果。

分布式深度学习

16.Dist-keras / elephas / spark-deep-learning

随着越来越多的用例需要大量的工作和时间，深度学习问题变得越来越重要。然而，使用像Apache Spark这样的分布式计算系统处理这么多数据就要容易得多，并再次扩展了深度学习的可能性。因此，dist-keras、elephas和spark-deep-learning越来越受欢迎并迅速发展，我们很难单独挑选一个库，因为它们都是为解决一个共同的任务而设计的。

自然语言处理

17.NLTK

NLTK是一个用于自然语言处理的完整"平台"。在NLTK的帮助下，你可以以各种方式处理和分析文本并标记文本，提取信息，等等。

NLTK是一个python工具包, 用来处理和自然语言处理相关的东西， 包括分词(tokenize), 词性标注(POS)， 文本分类,，等等现成的工具。

18.SpaCy

SpaCy是一个自然语言处理库。这个库是用Python语言编写的。它支持近30种语言，提供了简单的深度学习集成。SpaCy的另一个重要特性是为整个文档处理而设计的架构，不需要对文档进行分解。

诞生于2014年年中的 ，是Python自然语言处理工具中常用的一个包，是具有工业级强度的Python NLP工具包。spaCy里大量采用了 来提高相关模块的性能，这个区别于 NLTK，具有更高的使用价值。

19.Gensim

Gensim是一款开源的第三方Python工具包，用于从原始的非结构化的文本中，无监督地学习到文本隐层的主题向量表达。它支持包括TF-IDF，LSA，LDA，和word2vec在内的多种主题模型算法，支持流式训练，并提供了诸如相似度计算，信息检索等一些常用任务的API接口。Gensim是基于Numpy和Scipy构建的。

数据抓取

20.Scrapy

Scrapy是一个用于创建扫描网站页面并收集结构化数据的库。Scrapy作为Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。它的用途非常广泛，可以用于数据挖掘、监测和。

今年取得的新进展包括对代理服务器进行了几次升级，改进了识别系统。进行了许多新的突破。