将list or file的内容去重

import sys  
if __name__=="__main__":  
    for arg in sys.argv[1:]:
        txt_file=open(arg)
        try:
            all_text_list=txt_file.read().split(';')
            all_text_list={}.fromkeys(all_text_list).keys()
            txt_file=open(arg,'w')
            txt_file.write(';'.join(all_text_list) + ';')
        except:
            print '%s throw error!' % arg
        else:
            print '%s complete.' % arg
        finally:
            txt_file.close()
    print 'All completed.'

亮点在于{}.fromkeys(all_text_list).keys()

使用方法依旧是命令行调用

支持多文件和相对路径,修改';’以支持不同的文件