文档章节

AIX7.1删除大批量文件(百万级、千万级)

o
 osc_pn11u1x9
发布于 2018/08/06 14:26
字数 492
阅读 10
收藏 0

精选30+云产品,助力企业轻松上云!>>>

假设/data/test目录下含有数百万上千万的文件需要删除,可以选择的方式如下:

1.如果文件名不包含空白符、引号等特殊字符,则可以使用如下命令:

find /data/test -type f |xargs rm -f

 

2.如果文件名包含空白符、引号等特殊字符,则在linux中使用如下命令:

find /data/test -type f -print0 |xargs -0 rm -f

 而我所用的AIX7.1平台的xargs不支持-0选项,于是决定采用方式3:c语言写段代码删除。

3.c语言删除代码

该代码删除800万量级的文件时可以,删除2000万量级的文件时出现错误:Value too large to be stored in data type,于是又回到使用find ... rm的方法,具体命令参加方法四。

以下代码只假设要删除的目录中全是要删除的文件;如果有子目录,应该做递归删除;如果有条件的删除,可以使用stat函数获取每个文件的信息,然后判断文件信息是否满足删除条件再进行操作。

 1 #include <stdio.h>
 2 #include <stdlib.h>
 3 #include <sys/types.h>
 4 #include <dirent.h>
 5 
 6 #define MAX_FILE_NAME_LEN 256
 7 
 8 void clean(const char *dirName,int max){
 9         DIR *dir;
10         struct dirent *ent;
11         int n=0;
12         char fullFileName[MAX_FILE_NAME_LEN];
13 
14         dir=opendir(dirName);
15         if(dir==NULL){
16                 printf("open dir error:%s\n",dirName);
17                 return;
18         }
19         while((n<max) && ((ent=readdir(dir))!=NULL) ){
20                 if(strcmp(ent->d_name,".")==0 || strcmp(ent->d_name,"..")==0 )
21                         continue;
22                 sprintf(fullFileName,"%s/%s",dirName,ent->d_name);
23 
24                 if(remove(fullFileName)==0)
25                         printf("delete file ok: %s\n",ent->d_name);
26                 else
27                         printf("delete file fail: %s\n",ent->d_name);
28                 n++;
29         }
30         printf("%d files deleted.\n",n);
31         closedir(dir);
32 }
33 void main(int argc,char *argv[]){
34         char dirName[MAX_FILE_NAME_LEN]="/data/test";
35         int max=10;
36         if(argc>1)
37                 strcpy(dirName,argv[1]);
38         if(argc>2)
39                 max=atoi(argv[2]);
40         clean(dirName,max);
41 }

 4.使用find + rm命令删除2000万级的文件

find /data/test -type f -exec rm {} \; &

 

o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。

暂无文章

Java线程池

前言 Java中对线程池的抽象是ThreadPoolExecutor类,Executors是一个工具类,内置了多种创建线程池的方法: newFixedThreadPool:固定长度线程池 newCachedThreadPool :可缓存线程池 newSin...

nullpointerxyz
18分钟前
29
0
Python笔记:用Python制作二维码

这些年,二维码在我国的日常使用频率特别大。因为其具有简单及安全性吧!除了用网络工具制作二维码,其实用JavaScript或Python也可以制作二维码,而且更有个性。 示例一(制作普通黑白二维码...

tengyulong
30分钟前
0
0
Redis-初体验/数据结构

定义: Redis 是 C 语言开发的一个开源的(遵从 BSD 协议)高性能键值对(key-value)的内存数据库,可以用作数据库、缓存、消息中间件等。它是一种 NoSQL(not-only sql,泛指非关系型数据库...

心田已荒
33分钟前
15
0
如何在保留订单的同时从列表中删除重复项? - How do you remove duplicates from a list whilst preserving order?

问题: Is there a built-in that removes duplicates from list in Python, whilst preserving order? 是否有内置的程序在保留顺序的同时从Python列表中删除重复项? I know that I can us...

fyin1314
今天
29
0
以太坊智能合约开发常见的10个安全问题

本文介绍CheckMarx安全研究小组通过扫描公开的以太坊智能合约所发现的Solidity智能合约开发中常见的十大安全问题,其中__未检查的外部调用__ 和 高成本循环 分列排行榜前两名。该安全问题排行...

区块链教程
今天
19
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部