文档章节

mahout 安装和简单测试

cookqq
 cookqq
发布于 2014/01/20 13:28
字数 386
阅读 1.4K
收藏 1

本人博客开始迁移,博客整个架构自己搭建及编码http://www.cookqq.com/listBlog.action

1安装环境

系统/软件明称 版本 下载地址 备注

hadoop

0.20.2 http://mirror.esocc.com/apache/hadoop/common/

mahout

0.4 http://mirrors.cnnic.cn/apache/mahout/0.4/

操作系统debain

6.02

hadoop 节点列表

系统明\名称

hadoop节点

ip地址

备注

debain7

namenode

192.168.1.111

datanode1

datanode 192.168.1.112

datanode2
datanode
192.168.1.113

datanode3
datanode
192.168.1.114


2安装步骤

2.1 解压mahout-distribution-0.4.tar.gz

tar -axvf mahout-distribution-0.4.tar.gz

2.2 将文件重名为mahout

mv mahout-distribution-0.4 mahout



2.3 修改~/.bashrc文件,增加下面的几行数据

export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/conf
export MAHOUT_HOME=/usr/local/mahout
export MAHOUT_CONF_DIR=/usr/local/mahout/conf
export PATH=$PATH:$HADOOP_HOME_DIR:$HADOOP_HOME/bin:$MAHOUT_HOME/conf:$MAHOUT_HOME/bin


2.4 重新启动服务器,要不上面设置的信息不起作用

2.5 启动hadoop,测试mahout是否安装成功

mahout



2.6 下载mahout测试数据

wget http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data

2.7 hadoop创建测试目录

2.8 上传测试数据

2.9 启动kmeans算法,开始测试

mahout org.apache.mahout.clustering.syntheticcontrol.kmeans.Job



2.10查看结果

3问题

tianbx@localhost :/usr/local/mahout/bin$  ./mahout --help
MAHOUT_LOCAL is not set; adding HADOOP_CONF_DIR to classpath.
Exception in thread "main" java.lang.NoClassDefFoundError: classpath
Caused by: java.lang.ClassNotFoundException: classpath
at java.net.URLClassLoader$1.run(URLClassLoader.java:217)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:205)
at java.lang.ClassLoader.loadClass(ClassLoader.java:321)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:294)
at java.lang.ClassLoader.loadClass(ClassLoader.java:266)
Could not find the main class: classpath. Program will exit.
Running on hadoop, using /usr/local/hadoop/bin/hadoop and HADOOP_CONF_DIR=/usr/local/hadoop/conf

原因:一开始我按装的是mahout0.8,而hadoop是0.2,版本之间的兼容问题.

解决办法:不安装mahout0.8,换成mahout0.4 就可以了.



© 著作权归作者所有

cookqq

cookqq

粉丝 119
博文 268
码字总数 156096
作品 0
海淀
技术主管
私信 提问
Mahout 安装、配置

Mahout 的安装 Mahout是 Hadoop 的一种高级应用。运行 Mahout 需要提前安装好 Hadoop,Linux 上 Hadoop 的安装配置可以参考文章: linux 上 JDK 的安装于配置 SSH 无密码登陆的实现 Hadoop 伪...

荔枝壳
2013/11/21
4.6K
0
Apache Mahout:适合所有人的可扩展机器学习框架

在软件的世界中,两年就像是无比漫长的时光。在过去两年中,我们看到了社交媒体的风生水起、大规模集群计算的商业化(归功于 Amazon 和 RackSpace 这样的参与者),也看到了数据的迅猛增长以...

龙鸟
2012/07/11
1.3K
0
Mahout之Taste Webapp实战

Apache Mahout 是 Apache Software Foundation(ASF) 旗下的一个开源项目,提供一些可扩展的机器学习领域经典算法的实现,旨在帮助开发人员更加方便快捷地创建智能应用程序。经典算法包括聚...

一枚Sir
2014/06/23
165
0
Mahout In Aciotn

Mahout In Aciotn 作者:Jack Zhang 来自开拓者部落 ,qq群:248087140,欢迎加入我们! 本文欢迎转载,转载请注明出处 http://my.oschina.net/u/1866370/blog/287907 i.Java和IDE(略) ii...

开拓者-2017
2014/07/09
113
0
org.apache.mahout.math.function.IntDoubleProcedure

学习<mahout in action > SimpleKMeansClustering测试例子的时候,运行报错 环境列表 软件明称 版本 hadoop 0.20.2 mahout 0.4 eclipse Kepler Service Release 1 报错代码: ClassNotFoundEx......

cookqq
2014/01/21
258
0

没有更多内容

加载失败,请刷新页面

加载更多

如何优雅地检测JavaScript中的空闲时间?

是否可以在JavaScript中检测“ 空闲 ”时间? 我的主要用例可能是预取或预加载内容。 空闲时间: 用户不活动或没有使用CPU的时间 #1楼 如果不使用jQuery,则仅使用普通JavaScript: var inac...

技术盛宴
37分钟前
31
0
获取枚举值的属性

我想知道是否可以获取枚举值而不是枚举本身的属性? 例如,假设我有以下枚举: using System.ComponentModel; // for DescriptionAttributeenum FunkyAttributesEnum{ [Description(...

javail
今天
70
0
concurrently 启动多个serve时命令行输出混乱

在script中配置中加入参数 -r "start": "npx concurrently -r \"npm:serve\" \"npm:web\"" 输出比较整洁 输出混乱, 会将有用的信息冲掉...

阿豪boy
今天
48
0
每天AC系列(三):电话号码的字母组合

1 题目 Leetcode第17题。 数字2-9映射字母,给出一个包含字符串的数字,列出字母的所有组合。 2 递归 拿到这样的题目想到了递归实现,创建一个Map映射对应的字母,然后把它传给递归函数,同时...

Blueeeeeee
今天
44
0
Kettle自定义jar包供javascript使用

我们都知道 Kettle 是用 Java 语言开发,并且可以在 JavaScript 里面直接调用 java 类方法。所以有些时候,我们可以自定义一些方法,来供 JavaScript 使用。 本篇文章有参考自:https://www...

CREATE_17
昨天
114
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部