加载中
用户评分设计与实现

用户评分设计与实现 维度 == 标签,泛指描述恶意行为的一类合集,不必纠结文中用词,看官就当做一回事, 就是你理解的那回事就行。 不区分维度 不管你是IP维度、设备维度、xxx维度,只要能描...

06/06 15:32
3
DataFrames中的reindex用法

from pandas import DataFrame frame = DataFrame(np.arange(9).reshape((3,3)),index=['a','c','d'],columns=['Ohio','Texas','California'] states = ['Texas','Utah','California'] frame...

2018/11/20 16:10
9
shell统计当前目录所有指定后缀文件名的行数

源目录路径 cd /home/app sum=0 for file in `ls *.py` do i=`cat $file|wc -l` sum=$[$i+$sum] done 输出最终和为echo $sum......

2018/11/19 15:27
22
mrjob报SyntaxError:invalid syntax

在公司采用mrjob模块编写MR,mrjob安装好后,执行相应的mr;程序报File "mr_job.py",line 1 in module for k,v in unfiltered_jobconf.items() if v is not None ^ syntaxError:invalid syntax...

2018/11/14 15:50
4
新安装的python2.7无法加载error while loading shared libraries: libpython2.7.so.1.0

1.修改/etc/ld.so.conf配置 加载python2.7的lib库路径 echo "/opt/FUDE-1.1/python/lib">>/etc/ld.so.conf 2.执行 /sbin/ldconfig -vi 默认情况下,编译器只会使用/lib和/usr/lib这两个目录下...

2018/11/14 15:49
14
constant模块安装方式探讨

1.从python官网下载安装包constant-0.0.2.zip解压以后执行 python setup.py install 报 valueerror bad marshal data unknown type code; 遇到这种错误请用pip install constant安装......

2018/11/12 10:43
25
mrjob运行-r hadoop模式中的bug修复

问题描述: /bin/sh:run_prestart: line 1:syntax error:unexpected end of file 解决方案: 在MRJob的配置文件中添加如下信息vim /etc/mrjob.conf runners: hadoop: setup: - 'set -e' sh_bin...

2018/11/06 15:24
13
爬虫解析页面

sel =response.xpath('//div[@class="info-item"]/a/@href').extract() name =response.xpath('//div[@class="info-item"]/h2/a/text()').extract() url =response.xpath('//div[@class="inf...

H2
2018/08/12 16:40
8
mrjob报语法错误

在公司采用mrjob模块编写MR,mrjob安装好后,执行相应的mr;程序报File "mr_job.py",line 1 in module for k,v in unfiltered_jobconf.items() if v is not None ^ syntaxError:invalid syntax...

2018/06/01 15:25
15
编辑本段查询ASCII技巧 

 方便查询ASCII码对应的字符:新建一个文本文档,按住ALT+要查询的码值(注意,这里是十进制)   松开即可显示出对应字符。例如:按住ALT+97,则会显示出‘a’。 标准ASCII表   Bin Dec ...

2018/05/03 13:56
62
关于hadoop配置hosts文件的问题

对应linux系统,修改/etc/hosts文件,在全部hadoop环境下的全部机器都增加机器名和IP地址,内容如下: 10.200.187.77 master 10.200.187.78 slave1 10.200.187.79 slave2 10.200.187.80 sla...

2018/05/03 11:23
11
hadoop生态系统介绍

1.hadoop生态系统主流核心技术: Zookeeper、HDFS、MapReduce、HBase、Hive、Pig、Spark 2.hadoop2.0与hadoop1.0相比的主要提升点: Hadoop 1.0指的是版本为Apache Hadoop 0.20.x、1.x或者C...

2017/09/30 17:11
18
hive存储过程遇到的问题及解决办法

1.报错信息cannot recognize input near 'left' 'join' '(' in join type specifier 解决办法:将脚本中的left join 替换成 left outer join 2.报错信息No partition predicate found for Al...

2017/09/06 15:15
303
安装hadoop报错java.net.UnknownHostException

一、错误 程序启动时提示如下错误: java.net.UnknownHostException: promote.cache-dns.local: unknown error 直译就是: 主机名promote.cache-dns.local未知,抛出。 二、原因 1.执行hostn...

2017/08/03 11:39
42
RuntimeError: Compression requires the (missing) zlib module

安装setuptools报的错误,安装zlib和zlib_devel两个包 rpm -ivh zlib-1.2.3-29.el6.x86_64.rpm rpm -ivh zlib-devel-1.2.3-29.el6.x86_64.rpm 安装成功后重新编译python2.7.2...

2017/07/25 14:36
24
shell脚本中的trap命令

[root@localhost ~]# trap -l 1) SIGHUP 2) SIGINT 3) SIGQUIT 4) SIGILL 5) SIGTRAP 6) SIGABRT 7) SIGBUS 8) SIGFPE 9) SIGKILL 10) SIGUSR1 11) SIGSEGV 12) SIGUSR2 13) SIGPIPE 14) SIG...

2017/03/29 14:41
21
列转行,行转列

行转列,列转行是我们在开发过程中经常碰到的问题。行转列一般通过CASE WHEN 语句来实现,也可以通过 SQL SERVER 2005 新增的运算符PIVOT来实现。用传统的方法,比较好理解。层次清晰,而且比...

2017/03/02 14:41
27
Linux安全管理(2)

Linux 安全

2016/07/14 10:20
26
Linux安全管理(1)

1.禁止ROOT远程登录 修改/etc/ssh/sshd_config文件,配置PermitRootLogin no。 重启服务,/etc/init.d/sshd restart。 2.检查是否关闭不必要的服务和端口 chkconfig --level 345 nfslock off ...

2016/06/30 22:21
26
hadoop相关要点

hadoop sqoop hive

2016/06/11 19:36
39

没有更多内容

加载失败,请刷新页面

返回顶部
顶部