加载中
shell统计当前目录所有指定后缀文件名的行数

源目录路径 cd /home/app sum=0 for file in `ls *.py` do i=`cat $file|wc -l` sum=$[$i+$sum] done 输出最终和为echo $sum......

2018/11/19 15:27
23
mrjob报SyntaxError:invalid syntax

在公司采用mrjob模块编写MR,mrjob安装好后,执行相应的mr;程序报File "mr_job.py",line 1 in module for k,v in unfiltered_jobconf.items() if v is not None ^ syntaxError:invalid syntax...

2018/11/14 15:50
5
新安装的python2.7无法加载error while loading shared libraries: libpython2.7.so.1.0

1.修改/etc/ld.so.conf配置 加载python2.7的lib库路径 echo "/opt/FUDE-1.1/python/lib">>/etc/ld.so.conf 2.执行 /sbin/ldconfig -vi 默认情况下,编译器只会使用/lib和/usr/lib这两个目录下...

2018/11/14 15:49
14
constant模块安装方式探讨

1.从python官网下载安装包constant-0.0.2.zip解压以后执行 python setup.py install 报 valueerror bad marshal data unknown type code; 遇到这种错误请用pip install constant安装......

2018/11/12 10:43
27
mrjob运行-r hadoop模式中的bug修复

问题描述: /bin/sh:run_prestart: line 1:syntax error:unexpected end of file 解决方案: 在MRJob的配置文件中添加如下信息vim /etc/mrjob.conf runners: hadoop: setup: - 'set -e' sh_bin...

2018/11/06 15:24
15
爬虫解析页面

sel =response.xpath('//div[@class="info-item"]/a/@href').extract() name =response.xpath('//div[@class="info-item"]/h2/a/text()').extract() url =response.xpath('//div[@class="inf...

H2
2018/08/12 16:40
8
mrjob报语法错误

在公司采用mrjob模块编写MR,mrjob安装好后,执行相应的mr;程序报File "mr_job.py",line 1 in module for k,v in unfiltered_jobconf.items() if v is not None ^ syntaxError:invalid syntax...

2018/06/01 15:25
15
编辑本段查询ASCII技巧 

 方便查询ASCII码对应的字符:新建一个文本文档,按住ALT+要查询的码值(注意,这里是十进制)   松开即可显示出对应字符。例如:按住ALT+97,则会显示出‘a’。 标准ASCII表   Bin Dec ...

2018/05/03 13:56
63
hadoop生态系统介绍

1.hadoop生态系统主流核心技术: Zookeeper、HDFS、MapReduce、HBase、Hive、Pig、Spark 2.hadoop2.0与hadoop1.0相比的主要提升点: Hadoop 1.0指的是版本为Apache Hadoop 0.20.x、1.x或者C...

2017/09/30 17:11
21
hive存储过程遇到的问题及解决办法

1.报错信息cannot recognize input near 'left' 'join' '(' in join type specifier 解决办法:将脚本中的left join 替换成 left outer join 2.报错信息No partition predicate found for Al...

2017/09/06 15:15
345
安装hadoop报错java.net.UnknownHostException

一、错误 程序启动时提示如下错误: java.net.UnknownHostException: promote.cache-dns.local: unknown error 直译就是: 主机名promote.cache-dns.local未知,抛出。 二、原因 1.执行hostn...

2017/08/03 11:39
44
RuntimeError: Compression requires the (missing) zlib module

安装setuptools报的错误,安装zlib和zlib_devel两个包 rpm -ivh zlib-1.2.3-29.el6.x86_64.rpm rpm -ivh zlib-devel-1.2.3-29.el6.x86_64.rpm 安装成功后重新编译python2.7.2...

2017/07/25 14:36
24
shell脚本中的trap命令

[root@localhost ~]# trap -l 1) SIGHUP 2) SIGINT 3) SIGQUIT 4) SIGILL 5) SIGTRAP 6) SIGABRT 7) SIGBUS 8) SIGFPE 9) SIGKILL 10) SIGUSR1 11) SIGSEGV 12) SIGUSR2 13) SIGPIPE 14) SIG...

2017/03/29 14:41
24
列转行,行转列

行转列,列转行是我们在开发过程中经常碰到的问题。行转列一般通过CASE WHEN 语句来实现,也可以通过 SQL SERVER 2005 新增的运算符PIVOT来实现。用传统的方法,比较好理解。层次清晰,而且比...

2017/03/02 14:41
27
Linux安全管理(2)

Linux 安全

2016/07/14 10:20
27
Linux安全管理(1)

1.禁止ROOT远程登录 修改/etc/ssh/sshd_config文件,配置PermitRootLogin no。 重启服务,/etc/init.d/sshd restart。 2.检查是否关闭不必要的服务和端口 chkconfig --level 345 nfslock off ...

2016/06/30 22:21
26
hadoop相关要点

hadoop sqoop hive

2016/06/11 19:36
41
REDIS一致性检查

# 查看REDIS_HASH_MDN中MDN数量 echo -n "REDIS_HASH_MDN - " redis-cli -h 192.168.171.141 -p 6379 HLEN LOC_HASH_MDN # 查看REDIS_MDN中MDN数量 echo -n "REDIS_MDN - " redis-cli -h 19...

2016/05/25 11:52
43
利用SQL对度假区进行评分

create table tmp_huadan( t_area char(50), t_type char(50), t_dianji int, t_sousuo int) go load table tmp_huadan( t_area '|', t_type '|', t_dianji '|', t_sousuo 0x0a)...

2016/04/19 14:17
12
python操作sybase iq数据库

#!/usr/env/bin python -*-coding:utf-8 -*- #导入数据库连接模块 import sqlanydb user='dba' passwd='hwfx123' host='localhost:5000' _sql = """select getdate()""" # 连接到数据库 con ...

2016/04/12 22:23
210

没有更多内容

加载失败,请刷新页面

返回顶部
顶部