python list去重保留原先的次序
python list去重保留原先的次序
python-yzw 发表于1年前
python list去重保留原先的次序
  • 发表于 1年前
  • 阅读 33
  • 收藏 0
  • 点赞 0
  • 评论 0

腾讯云 技术升级10大核心产品年终让利>>>   

摘要: list去重保留原先的次序

方法1:

mailto = ['cc', 'bbbb', 'afa', 'sss', 'bbbb', 'cc', 'shafa']
addr_to = list(set(mailto))

addr_to.sort(key = mailto.index)

另外一种用法

b = sorted(list(set(mailto)), key = mailto.index)


如果序列上的值都是 hashable 类型,那么可以很简单的利用集合或者生成器来解决这个
问题。比如:
def dedupe(items):
    seen = set()
    for item in items:
        if item not in seen:
            yield item
            seen.add(item)
下面是使用上述函数的例子:
>>> a = [1, 5, 2, 1, 9, 1, 5, 10]
>>> list(dedupe(a))
[1, 5, 2, 9, 10]
>>>
这个方法仅仅在序列中元素为 hashable 的时候才管用。 如果你想消除元素不可哈希(比
如 dict 类型)的序列中重复元素的话,你需要将上述代码稍微改变一下,就像这样:
def dedupe(items, key=None):
    seen = set()
    for item in items:
        val = item if key is None else key(item)
        if val not in seen:
            yield item
            seen.add(val)
这里的key参数指定了一个函数,将序列元素转换成 hashable 类型。下面是它的用法示
例:
>>> a = [ {'x':1, 'y':2}, {'x':1, 'y':3}, {'x':1, 'y':2}, {'x':2, 'y':4}]
>>> list(dedupe(a, key=lambda d: (d['x'],d['y'])))
[{'x': 1, 'y': 2}, {'x': 1, 'y': 3}, {'x': 2, 'y': 4}]
>>> list(dedupe(a, key=lambda d: d['x']))
[{'x': 1, 'y': 2}, {'x': 2, 'y': 4}]
>>>
如果你想基于单个字段、属性或者某个更大的数据结构来消除重复元素,第二种方案同样
可以胜任。
讨论
如果你仅仅就是想消除重复元素,通常可以简单的构造一个集合。比如:
>>> a
[1, 5, 2, 1, 9, 1, 5, 10]
>>> set(a)
{1, 2, 10, 5, 9}
>>>
然而,这种方法不能维护元素的顺序,生成的结果中的元素位置被打乱。而上面的方法可
以避免这种情况。
在本节中我们使用了生成器函数让我们的函数更加通用,不仅仅是局限于列表处理。 比
如,如果如果你想读取一个文件,消除重复行,你可以很容易像这样做:
with open(somefile,'r') as f:
    for line in dedupe(f):
        ...
上述key函数参数模仿了 sorted() , min() 和 max() 等内置函数的相似功能。

共有 人打赏支持
粉丝 4
博文 75
码字总数 35488
×
python-yzw
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: