mlpack: 一个C++机器学习库

简介

mlpack是一个C++机器学习库,侧重于可扩展性、速度和易用性。它的目的是通过一个简单的、前后一致的API让新用户使用机器学习成为可能,同时利用C++语言特征为专家用户提供最好的性能和最大的灵活性。这些通过提供一系列命令行执行程序完成,就像使用一个黑箱,而且专家用户和研究者可以容易的更改一个模块化的C++ API的内部算法。

mlpack

这种方法的结果就是mlpack的性能大幅度超过其他竞争的机器学习库;在the BigLearning workshop paperthe benchmarks for details查看细节。

mlpack由全世界的贡献者开发。基于伯克利发行软件许可的第三个条款免费发行。(比1.0.12更老的版本基于GNU通用公共授权规定发行:LGPL,第3版。)

安装

mlpack存储在许多Linux的发行版本中,所以在你的系统中使用程序包管理器可能更容易一些。例如:在Ubuntu上,你可以使用下面的命令安装mlpack。

如果mlpack不能在你的系统的程序包管理器中使用,那么你可以按照下面的步骤编译和安装mlpack源文件。

Mlpack使用CMake作为生成系统,允许几个灵活的生成配置选项。你可以查询大量的CMake教程得到更多的文件,但是这个教程应该足够让你在大多数Linux和类UNIX系统中(包括OS X)成功生成和安装mlpack。如果你想在Windows操作系统中生成mlpack,请看这里

首先下载mlpack。

当mlpack的源文件完成解压,你可以创建一个生成目录。

这个目录可以是任何名字,不仅仅是“build”,但是“build”足够了。

mlpack依赖项

mlpack依赖下面的库,它们需要被安装在系统中并有一些头文件出现。

  • Armadillo >=4.200.0(支持LAPACK(线性代数程序包))
  • Boost(math_c99, program_options, serialization, unit_test_framework, heap, spirit)>=1.49

在Ununtu和Debian中,你可以通过apt获得所有这些依赖项:

在Fedora、Red Hat或CentOS上,这些相同的依赖项可以通过dnf获得:

配置CMake

运行CMake相当于使用autotools运行./configure。

如果你工作中使用mlpack的svn trunk版本,且不带任何选项运行CMake,它将配置这个生成项目带有调试符号和分析信息:如果你工作中使用发行版本的mlpack,不带任何选项运行CMake,它将配置这个生成项目不带调试符号和分析信息(为了速度)。

你可以手动指定选项去编译或不编译调试信息和分析信息(也就是说尽可能快):

Mlpack允许的全部选项为:

  • DEBUG=(ON/OFF): compile with debugging symbols (default ON in svn trunk, OFF in releases)
  • PROFILE=(ON/OFF): compile with profiling symbols (default ON in svn trunk, OFF in releases)
  • ARMA_EXTRA_DEBUG=(ON/OFF): compile with extra Armadillo debugging symbols (default OFF)
  • BUILD_TESTS=(ON/OFF): compile the mlpack_test program (default ON)
  • BUILD_CLI_EXECUTABLES=(ON/OFF): compile the mlpack command-line executables (i.e. mlpack_knn, mlpack_kfn, mlpack_logistic_regression, etc.) (default ON)
  • TEST_VERBOSE=(ON/OFF): run test cases in mlpack_test with verbose output (default OFF)

每个选项都可以被指定给带有‘-D’标记的CMake。其他工具也可以用于配置CMake,但是它们没有被记录在这里。

生成mlpack

一旦CMake配置好,生成库就像打出‘make’一样简单。这将生成所有库组件和‘mlpack_test’。

如果你不想生成每一个库,可以指定你想生成的单个组件。

一个有趣的特殊组件是mlpack_test,它是运行mlpack的测试组件。你可以使用这个命令生成这个组件:

然后运行所有的测试组件或单个的测试组件:

如果生成失败,而你不能找到为什么失败,在Github上注册一个账户,提交这个问题,mlpack的开发人员将会尽快帮你解决,

或者在irc.freenode.netm上的mlpack的IRC中也可以找到mlpack的帮助。

安装mlpack

如果你想将mlpack安装在/usr/include/mlpack/、/usr/lib/和/usr/bin/中,当它生成后,确保你有root权限(或向那两个目录的写入许可),然后简单的打出:

现在你可以通过名字运行可执行程序;你可以使用-lmlpack链接到mlpack,mlpack的头文件可以在目录/usr/include/mlpack/中找到。

示例

最近邻搜索是一个常见的机器学习任务。在这个背景下 ,我们有一个查询数据集和一个参考数据集。对于在查询数据集中的每个点,我们希望知道参考数据集中距离给定查询点最近的k个点。

或者,如果查询和参考数据集是相同的,问题可以更简单的说明:对于每个数据集中的点,我们希望知道距离那个点最近的k个点。

Mlpack提供:

  • 一个简单的命令行程序包运行最近邻搜索(和最远邻搜索)。
  • 一个简单的C++接口用于完成最近邻搜索(和最远邻搜索)。
  • 一个通用的、可扩展的和强大的C++类(邻域搜索)用于复杂算法。

命令行‘mlpack_knn’

在mlpack中完成最近邻搜索最简单的方式是使用mlpack_knn程序包。这个程序将完成最近邻搜索,并将得到的邻近点放入一个文件,同时将对应的距离放入另一个文件。输出文件被整理为第一行对应第一个被查询点的最近邻点,第一列对应最近的点,以此类推。

下面是几个简单用法的例子(和输出结果)。由于使用了选项‘-v’,因此输出是给定的。更多关于每个选项的文档可以通过下面这个语句找到。

一个数据集,5个最近邻点

在输出底部为每个不同的计算部分加入方便的程序计时器,同时也加入和仿真一起运行的参数。现在,如果我们看看结果文件:

所以对于第0点的最近邻点是第862点,距离是5.986076164057e-02。第二近邻点是第344点,距离是7.664920518084e-02。第5点的第三近邻点是第751点,距离是1.085637706630e-01。

查询和参考数据集,10个最近邻点

一个数据集,3个最近邻点,15个点的大小

更多关于选项的文档可以使用‘-help’选项找到。

‘KNN’类

具体来说,‘KNN’类是一个更扩展的邻域搜索类的类型定义,使用欧氏距离查询最近邻点。

使用KNN类相当简单。首先,目标对象必须被构建并指定一个数据集。然后,运行方法,返回两个矩阵:一个是最近邻点的序号,一个是最近邻点的距离。以相同的结构输出–neighbors_file和–distances_file到命令行接口。下面给出几个KNN使用的几个例子。

单一数据集上的5个最近邻点

搜索的输出存储在resultingNeighbors和resultingDistances里面。

查询和参考数据集上的10个最近邻点

在数据集上自然(穷举)搜索6个最近邻点

这个例子使用时间度O(n^2)的自然搜索(不是树搜索)。、

不用说,自然搜索很慢。

扩展的‘NeighborSearch’类

NeighborSearch类是可扩展的,带有下列模板参数:

通过为每个模板类选择不同的内容,可以创建任意的邻域搜索对象。注意,这些模板的每个参数都有默认值,所以不需要为每个参数赋值。

SortPolicy策略类

SortPolicy模板参数允许指定NeighborSearch对象将怎样确定被搜索的每个点。mlpack::neighbor::NearestNeighborSort类是一个被清楚记录的示例。一个定制的SortPolicy类必须完成和NearestNeighborSort类相同的方法。

mlpack::neighbor::FurthestNeighborSort类是用于创建‘KFN’类型定义类的另一个方法,和寻找最近邻点相反,它寻找最远邻点。

MetricType策略类

MetricType策略类允许邻域搜索发生在任意度量空间。mlpack::metric::LMetric是一个很好的示例实现。一个MetricType类必须提供下列功能:

在内部,NeighborSearch类保存一个MetricType类的实例(它可以在构造函数中给定)。这对于像马氏距离这样必须存储状态(协方差矩阵)的度量是有用的(mlpack::metric::MahalanobisDistance)。因此,你可以写一个非静态MetricType类,无缝的使用它和NeighborSearch。

MatType策略类

MatType模板参数指定数据类型使用矩阵。这个类型必须实现和Armadillo矩阵相同的操作,标准选择是arma::mat和arma::sp_mat。

TreeType策略类

邻域搜索NeighborSearch类在用于搜索的树类型的选择上有很好的扩展。这个类型必须遵循典型的mlpack TreeType策略。

典型的选择可能包含mlpack::tree::KDTree,mlpack::tree::BallTree,mlpack::tree::StandardCoverTree,mlpack::tree::RTree或mlpack::tree::RStarTree。制作你自己的树类型用来使用NeighborSearch是很容易的。更多细节请点击这里。

下面给出一个使用带有球树的NeighborSearch类的例子。

TraverserType策略类

邻域搜索NeighborSearch类提供的最后一个模板参数是TraverserType类。它具有的策略是在单一树或者双树搜索模式下遍历树。默认情况下,它被设置为使用指定TreeType(成员TreeType::DualTreeTraverser)的默认遍历器。

这个类必须实现下面两种方法:

RuleType类用在遍历器中时提供下面的功能:

注意任何指定的遍历器必须满足修剪双树遍历的定义,其在文章”Tree-independent dual-tree algorithms”中指定。

资源链接

命令行程序参考:http://mlpack.org/docs/mlpack-2.2.5/man.html

 

官方网站:http://mlpack.org/
开源地址:https://github.com/mlpack/mlpack

4 5 收藏

资源整理者简介:Juliesand



直接登录

推荐关注

按分类快速查找

关于资源导航
  • 伯乐在线资源导航收录优秀的工具资源。内容覆盖开发、设计、产品和管理等IT互联网行业相关的领域。目前已经收录 1440 项工具资源。
    推送伯乐头条热点内容微信号:jobbole 分享干货的技术类微信号:iProgrammer