怎么用 python list 去除重复项

要用Python的列表（list）去除重复项，有几种常用的方法：使用集合（set）转换、列表推导式以及使用第三方库。这些方法可以有效地从列表中删除重复的元素，保留唯一项。

集合转换法是最直接的去重方法。Python中的集合（set）是一个无序的不重复元素集，很适合用来去除重复项。这种方式简单便捷，但也有一个小缺点，那就是它会丢失原列表元素的顺序。如果需要保持元素顺序，可以转换回列表并排序，或者使用列表推导式结合集合的方法去保持元素的顺序。

下面将对集合转换法进行详细描述：

首先，将已有列表转化成集合，这个操作会自动去除掉重复的元素，因为集合本身就是一个只储存唯一元素的数据结构。这样做的简单代码如下：

my_list = [1, 2, 2, 3, 4, 4, 4, 5]

my_set = set(my_list)
my_list_unique = list(my_set)

通过这段代码，我们首先定义了一个带有重复元素的列表my_list。然后，我们用set()函数将这个列表转化为集合my_set，此时重复的元素被自动去除。最后，我们再次用list()函数将集合转化回列表my_list_unique，这样我们就得到了一个没有重复元素的新列表。但是这种方法有一个缺点，原始列表中元素的顺序可能会丢失。

一、使用集合转换

集合转换示例

假设我们有一个元素重复的列表，我们希望去除掉那些重复的元素。以下是一个简单的例子：

# 定义一个有重复元素的列表

my_list = [3, 5, 2, 3, 6, 5, 6]
使用集合去重
unique_items = set(my_list)
转换回列表（如果需要保持列表形式）
unique_list = list(unique_items)
print(unique_list)

执行这段代码，虽然我们去除了重复的元素，但同时我们也失去了原始列表中元素的顺序信息。

保持顺序的集合转换

如果我们希望在去重的同时，还保持原有元素的顺序，我们需要稍微调整代码：

my_list = [3, 5, 2, 3, 6, 5, 6]

unique_items = list(dict.fromkeys(my_list))
print(unique_items)

在这个代码中，我们使用dict.fromkeys()方法去创建一个字典，它会保留插入顺序，从而可以用来保持元素的顺序。

二、列表推导式和集合

使用列表推导式去重

列表推导式同样是一个非常简洁的去除列表中重复元素的方法，特别是当你想要保持列表元素原有顺序时。

my_list = [3, 5, 2, 3, 6, 5, 6]

unique_items = []
[unique_items.append(item) for item in my_list if item not in unique_items]
print(unique_items)

这段代码首先创建了一个空列表unique_items，然后通过列表推导式逐一检查原始列表my_list中的每个元素，如果它还没有出现在unique_items中，就将其添加进去。

列表推导式结合集合

为了效率，我们可以结合上述两种方法进行去重，这样可以在保持元素顺序的同时提高速度。

my_list = [3, 5, 2, 3, 6, 5, 6]

seen = set()
unique_items = [x for x in my_list if not (x in seen or seen.add(x))]
print(unique_items)

这里，我们创建了一个名为seen的空集合来存储已经看到的元素。列表推导式遍历my_list中的每个元素，检查它是否在seen集合中。如果不是，它会将元素添加到unique_items列表和seen集合中。

三、通过第三方库去重

某些第三方库，比如pandas，可以提供更高级的去重功能。

使用Pandas去重

如果你正在处理大型数据集，或者需要更多高级的数据处理功能，可以考虑使用pandas库进行去重处理。

import pandas as pd

my_list = [3, 5, 2, 3, 6, 5, 6]
my_series = pd.Series(my_list)
unique_series = my_series.drop_duplicates()
print(unique_series.tolist())

在这个例子中，我们首先将列表转换成了pandas的Series对象。然后我们调用了drop_duplicates()方法去除重复的元素。最后，我们将结果转换回列表。

以上就是几种常见的用Python去除列表中重复项的方法。不同的方法适合不同的情景，你可以根据自己的需求选择适合的方法。

相关问答FAQs：

1. Python中如何用list去除重复项？

在Python中，可以通过将一个list转换为set来去除其中的重复项。通过set的特性，它只会保留其中的唯一值，从而完成去重的操作。具体步骤如下：

# 定义一个包含重复项的列表
my_list = [1, 2, 3, 4, 4, 5, 5]

# 将列表转换为集合，并再次转换为列表
unique_list = list(set(my_list))

# 输出去重后的列表
print(unique_list)

这样，输出的结果将是[1, 2, 3, 4, 5]，其中重复的项已经被去除了。

2. 如何保持原始的顺序并去除重复项？

如果你希望保持list中原有的顺序，并去除其中的重复项，可以使用一个辅助的空列表来实现。具体步骤如下：

# 定义一个包含重复项的列表
my_list = [1, 2, 3, 4, 4, 5, 5]

# 定义一个空列表来保存去重后的结果
unique_list = []

# 遍历原始列表，如果元素不在unique_list中，则将其添加进去
for item in my_list:
    if item not in unique_list:
        unique_list.append(item)

# 输出去重后的列表
print(unique_list)

这样，输出的结果仍然是[1, 2, 3, 4, 5]，并且保持了原有的顺序。

3. 如何对包含多个重复项的列表进行处理？

如果你的列表包含了多个重复项，而不只是相邻的元素重复，可以使用列表推导式和一个辅助的空集合来去除这些重复项。具体步骤如下：

# 定义一个包含多重复项的列表
my_list = [1, 2, 3, 4, 4, 5, 5, 1, 2, 3]

# 使用列表推导式和集合来去除重复项
unique_list = [x for i, x in enumerate(my_list) if x not in my_list[:i]]

# 输出去重后的列表
print(unique_list)

这样，输出的结果同样是[1, 2, 3, 4, 5]，对于列表中的任何多重复项都可以正确处理。

最后建议，企业在引入信息化系统初期，切记要合理有效地运用好工具，这样一来不仅可以让公司业务高效地运行，还能最大程度保证团队目标的达成。同时还能大幅缩短系统开发和部署的时间成本。特别是有特定需求功能需要定制化的企业，可以采用我们公司自研的企业级低代码平台：织信Informat。 织信平台基于数据模型优先的设计理念，提供大量标准化的组件，内置AI助手、组件设计器、自动化（图形化编程）、脚本、工作流引擎（BPMN2.0）、自定义API、表单设计器、权限、仪表盘等功能，能帮助企业构建高度复杂核心的数字化系统。如ERP、MES、CRM、PLM、SCM、WMS、项目管理、流程管理等多个应用场景，全面助力企业落地国产化/信息化/数字化转型战略目标。