文档章节

SQL查询和删除重复字段的内容

深圳大道
 深圳大道
发布于 2016/12/29 15:39
字数 921
阅读 3
收藏 0
--例如: 
id           NAME         VALUE 
1               a                 pp 
2               a                 pp 
3               b                 iii 
4               b                 pp 
5               b                 pp 
6               c                 pp 
7               c                 pp 
8               c                 iii 
--id是主键 
--要求得到这样的结果 
id           NAME         VALUE 
1               a                 pp 
3               b                 iii 
4               b                 pp 
6               c                 pp 
8               c                 iii

--方法1
DELETE YourTable
WHERE  [id] NOT   IN (SELECT MAX([id])
                      FROM   YourTable
                      GROUP BY
                             (NAME + VALUE)) 
       
--方法2

DELETE a
FROM   表 a
       LEFT   JOIN (
                SELECT id = MIN(id)
                FROM   表
                GROUP BY
                       NAME,
                       VALUE
            )b
            ON  a.id = b.id
WHERE  b.id IS NULL 
       
       
       
--查询及删除重复记录的SQL语句
--查询及删除重复记录的SQL语句
--1、查找表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断

SELECT *
FROM   people
WHERE  peopleId IN (SELECT peopleId
                    FROM   people
                    GROUP BY
                           peopleId
                    HAVING COUNT(peopleId) > 1)
--2、删除表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断,只留有rowid最小的记录

DELETE 
FROM   people
WHERE  peopleId IN (SELECT peopleId
                    FROM   people
                    GROUP BY
                           peopleId
                    HAVING COUNT(peopleId) > 1)
       AND rowid NOT IN (SELECT MIN(rowid)
                         FROM   people
                         GROUP BY
                                peopleId
                         HAVING COUNT(peopleId) > 1)
--3、查找表中多余的重复记录(多个字段)

SELECT *
FROM   vitae a
WHERE  (a.peopleId, a.seq) IN (SELECT peopleId,
                                      seq
                               FROM   vitae
                               GROUP BY
                                      peopleId,
                                      seq
                               HAVING COUNT(*) > 1)
--4、删除表中多余的重复记录(多个字段),只留有rowid最小的记录

DELETE 
FROM   vitae a
WHERE  (a.peopleId, a.seq) IN (SELECT peopleId,
                                      seq
                               FROM   vitae
                               GROUP BY
                                      peopleId,
                                      seq
                               HAVING COUNT(*) > 1)
       AND rowid NOT IN (SELECT MIN(rowid)
                         FROM   vitae
                         GROUP BY
                                peopleId,
                                seq
                         HAVING COUNT(*) > 1)
           
--5、查找表中多余的重复记录(多个字段),不包含rowid最小的记录

SELECT *
FROM   vitae a
WHERE  (a.peopleId, a.seq) IN (SELECT peopleId,
                                      seq
                               FROM   vitae
                               GROUP BY
                                      peopleId,
                                      seq
                               HAVING COUNT(*) > 1)
       AND rowid NOT IN (SELECT MIN(rowid)
                         FROM   vitae
                         GROUP BY
                                peopleId,
                                seq
                         HAVING COUNT(*) > 1)
--(二)
--比方说
--在A表中存在一个字段“name”,
--而且不同记录之间的“name”值有可能会相同,
--现在就是需要查询出在该表中的各记录之间,“name”值存在重复的项;

SELECT NAME,
       COUNT(*)
FROM   A
GROUP BY
       NAME
HAVING COUNT(*) > 1

--如果还查性别也相同大则如下:

SELECT NAME,
       sex,
       COUNT(*)
FROM   A
GROUP BY
       NAME,
       sex
HAVING COUNT(*) > 1(三)
--方法一

DECLARE @max     integer,
        @id      integer

DECLARE cur_rows CURSOR LOCAL 
FOR
    SELECT 主字段,
           COUNT(*)
    FROM   表名
    GROUP BY
           主字段
    HAVING COUNT(*) > ; 1

OPEN cur_rows
FETCH cur_rows INTO @id,@max
WHILE @@fetch_status = 0
BEGIN
    SELECT @max = @max -1
    SET ROWCOUNT @max
    DELETE 
    FROM   表名
    WHERE  主字段 = @id
    
    FETCH cur_rows INTO @id,@max
END
CLOSE cur_rows
SET ROWCOUNT 0
    
--方法二
--"重复记录"有两个意义上的重复记录,一是完全重复的记录,也即所有字段均重复的记录,二是部分关键字段重复的记录,比如Name字段重复,而其他字段不一定重复或都重复可以忽略。
--1、对于第一种重复,比较容易解决,使用

SELECT DISTINCT * 
FROM   tableName
--就可以得到无重复记录的结果集。
--如果该表需要删除重复的记录(重复记录保留1条),可以按以下方法删除

SELECT DISTINCT * INTO #Tmp
FROM   tableName

DROP TABLE tableName
SELECT * INTO tableName
FROM   #Tmp

DROP TABLE #Tmp
--发生这种重复的原因是表设计不周产生的,增加唯一索引列即可解决。
--2、这类重复问题通常要求保留重复记录中的第一条记录,操作方法如下
--假设有重复的字段为Name,Address,要求得到这两个字段唯一的结果集
SELECT IDENTITY(INT, 1, 1)  AS autoID,
       * INTO #Tmp
FROM                           tableName

SELECT MIN(autoID) AS autoID INTO #Tmp2
FROM   #Tmp
GROUP BY
       NAME,
       autoID

SELECT *
FROM   #Tmp
WHERE  autoID IN (SELECT autoID
                  FROM   #tmp2)
--最后一个select即得到了Name,Address不重复的结果集(但多了一个autoID字段,实际写时可以写在select子句中省去此列)(四)
--查询重复

SELECT *
FROM   tablename
WHERE  id IN (SELECT id
              FROM   tablename
              GROUP BY
                     id
              HAVING COUNT(id) > 1)

本文转载自:http://blog.csdn.net/smartsmile2012/article/details/9345689

共有 人打赏支持
深圳大道
粉丝 3
博文 877
码字总数 0
作品 0
深圳
架构师
私信 提问
Hadoop Hive sql 语法详解

Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功...

luanpeng825485697
2018/05/30
0
0
MySQL数据库(三)

数据导入与导出 (1)数据导入mysql>load data infile "目录/文件名" into table 表名 /默认目录为 /var/lib/mysql-files,可修改配置文件改变默认目录,如不修改配置文件,默认且一定要在这个...

ww魏伟
2018/01/02
0
0
Oracle的对象——表,同义词,序列,视图,索引和簇

一:表 a.创建表语法格式 create table table_name ( 字段1 类型1, 字段2 类型2, 字段3 类型3(也可以给字段设置默认值) ... ); Sql代码 create table student ( stuno int, stuname varcha...

mrliuze
2015/11/26
45
0
mybatis-plus 2.x升级3.x注意点

2.0到3.0主要升级的点: 升级 JDK 8 + 优化性能 Wrapper 支持 lambda 语法 模块化 MP 合理的分配各个包结构 重构注入方法,支持任意方法精简注入模式 全局配置下划线转换消灭注入 AS 语句 改...

xiaolyuh
03/12
0
0
史上最简单的 MySQL 教程(三十三)「视图(上)」

视图 视图:,是一种有结构(有行有列),但没有结果(结构中不真实存放数据)的虚拟表,虚拟表的结构来源不是自己定义的,而是从对应的基表(视图的数据来源)中产生的。 创建视图 首先,给...

qq_35246620
2017/09/03
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Coding and Paper Letter(六十四)

资源整理。 1 Coding: 1.交互式瓦片编辑器。 tile playground 2.R语言包autokeras,autokeras的R接口。autokeras是一个开源的自动机器学习的软件。 autokeras 3.斯坦福网络分析平台,用于网络...

胖胖雕
34分钟前
0
0
最简单的cd命令是个大坑!

BASH Shell 是大多 Linux 发行版的默认 shell,BASH 有一些自己的内置命令,cd 就是其中的一个。 在centos6里面,系统中不存在 cd 的二进制文件。但是你仍然可以运行该命令,这是因为 cd 是 ...

gaolongquan
45分钟前
1
0
spring获取bean的几种方式

使用jdk:1.8、maven:3.3.3 spring获取Bean的方式 pom.xml文件内容: <?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="......

Vincent-Duan
51分钟前
2
0
一段话系列-Linux中IO的同步、异步、阻塞、非阻塞

首先我们框定一下背景,我们探讨的是Linux系统下的IO模型。 同步和异步是针对内核操作数据而言的,同步是指内核串行顺序操作数据,异步是指内核并行(或并发)操作数据,然后通过回调的方式通...

EasyProgramming
56分钟前
4
0
好程序员web前端分享主流CSS image比较

好程序员web前端分享主流CSS image比较在还原设计图的时候,难免会碰到一些样式图片的引用。如何来对这些图片做优化呢?本文简单的梳理了一下目前几种比较常用的使用方式。   注: 1. 有更好...

好程序员IT
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部