web-dev-qa-db-fra.com

Comment supprimer des lignes en double d'un fichier?

J'ai un fichier avec une colonne. Comment supprimer des lignes répétées dans un fichier?

pythontextfile-io
29
smous

Sous Unix/Linux, utilisez la commande uniq, selon la réponse de David Locke, ou sort, selon le commentaire de William Pursell.

Si vous avez besoin d'un script Python:

lines_seen = set() # holds lines already seen
outfile = open(outfilename, "w")
for line in open(infilename, "r"):
    if line not in lines_seen: # not a duplicate
        outfile.write(line)
        lines_seen.add(line)
outfile.close()

pdate: La combinaison sort/uniq supprimera les doublons mais renverra un fichier avec les lignes triées, ce qui peut ou non être ce que vous voulez. Le script Python ci-dessus ne réorganisera pas les lignes, mais supprimera simplement les doublons. Bien sûr, pour que le script ci-dessus soit également trié, il suffit de laisser de côté la fonction outfile.write(line) et à la place , immédiatement après la boucle, faites outfile.writelines(sorted(lines_seen)).

58
Vinay Sajip

Si vous êtes sur * nix, essayez d'exécuter la commande suivante:

sort <file name> | uniq
34
David Locke
uniqlines = set(open('/tmp/foo').readlines())

cela vous donnera la liste des lignes uniques.

l'écrire dans un fichier serait aussi simple que:

bar = open('/tmp/bar', 'w').writelines(set(uniqlines))

bar.close()
16
marcell

C'est une refonte de ce qui a déjà été dit ici - voici ce que j'utilise.

import optparse

def removeDups(inputfile, outputfile):
        lines=open(inputfile, 'r').readlines()
        lines_set = set(lines)
        out=open(outputfile, 'w')
        for line in lines_set:
                out.write(line)

def main():
        parser = optparse.OptionParser('usage %prog ' +\
                        '-i <inputfile> -o <outputfile>')
        parser.add_option('-i', dest='inputfile', type='string',
                        help='specify your input file')
        parser.add_option('-o', dest='outputfile', type='string',
                        help='specify your output file')
        (options, args) = parser.parse_args()
        inputfile = options.inputfile
        outputfile = options.outputfile
        if (inputfile == None) or (outputfile == None):
                print parser.usage
                exit(1)
        else:
                removeDups(inputfile, outputfile)

if __name__ == '__main__':
        main()
6
Arthur M

Tu peux faire:

import os
os.system("awk '!x[$0]++' /path/to/file > /path/to/rem-dups")

Ici, vous utilisez bash dans python :)

Vous avez également d'autres moyens:

with open('/tmp/result.txt') as result:
        uniqlines = set(result.readlines())
        with open('/tmp/rmdup.txt', 'w') as rmdup:
            rmdup.writelines(set(uniqlines))
5
MLSC

obtenez toutes vos lignes dans la liste et faites un ensemble de lignes et vous avez terminé. par exemple,

>>> x = ["line1","line2","line3","line2","line1"]
>>> list(set(x))
['line3', 'line2', 'line1']
>>>

et réécrivez le contenu dans le fichier.

4
shahjapan

doublures Python One:

python -c "import sys; lines = sys.stdin.readlines(); print ''.join(sorted(set(lines)))" < InputFile > OutputFile
4
Rahul Patil

Regardez le script que j'ai créé pour supprimer les e-mails en double des fichiers texte. J'espère que cela t'aides!

# function to remove duplicate emails
def remove_duplicate():
    # opens emails.txt in r mode as one long string and assigns to var
    emails = open('emails.txt', 'r').read()
    # .split() removes excess whitespaces from str, return str as list
    emails = emails.split()
    # empty list to store non-duplicate e-mails
    clean_list = []
    # for loop to append non-duplicate emails to clean list
    for email in emails:
        if email not in clean_list:
            clean_list.append(email)
    return clean_list
    # close emails.txt file
    emails.close()
# assigns no_duplicate_emails.txt to variable below
no_duplicate_emails = open('no_duplicate_emails.txt', 'w')

# function to convert clean_list 'list' elements in to strings
for email in remove_duplicate():
    # .strip() method to remove commas
    email = email.strip(',')
    no_duplicate_emails.write(f"E-mail: {email}\n")
# close no_duplicate_emails.txt file
no_duplicate_emails.close()
2
Francisco Duluc

Si quelqu'un cherche une solution qui utilise un hachage et est un peu plus flashy, voici ce que j'utilise actuellement:

def remove_duplicate_lines(input_path, output_path):

    if os.path.isfile(output_path):
        raise OSError('File at {} (output file location) exists.'.format(output_path))

    with open(input_path, 'r') as input_file, open(output_path, 'w') as output_file:
        seen_lines = set()

        def add_line(line):
            seen_lines.add(line)
            return line

        output_file.writelines((add_line(line) for line in input_file
                                if line not in seen_lines))
2
Torkoal

ajoutant à la réponse de @David Locke, avec les systèmes * nix, vous pouvez exécuter

sort -u messy_file.txt > clean_file.txt

qui va créer clean_file.txt suppression des doublons par ordre alphabétique.

2
All Іѕ Vаиітy

Voici ma solution

if __name__ == '__main__':
f = open('temp.txt','w+')
flag = False
with open('file.txt') as fp:
    for line in fp:
        for temp in f:
            if temp == line:
                flag = True
                print('Found Match')
                break
        if flag == False:
            f.write(line)
        Elif flag == True:
            flag = False
        f.seek(0)
    f.close()
1
Unknown92