Python 去除 IP 端口号并去重

import re

def clean_proxy_file(input_file='proxy.txt', output_file='proxy_clean.txt'):
    """
    处理代理IP文件：去除端口号并去重
    :param input_file: 输入文件名
    :param output_file: 输出文件名
    """
    unique_ips = set()
    
    # 读取文件并处理每一行
    with open(input_file, 'r') as f:
        for line in f:
            line = line.strip()  # 去除换行符和空白字符
            if line:  # 确保不是空行
                # 使用正则表达式匹配IP地址（去除端口号）
                ip_match = re.match(r'^(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})', line)
                if ip_match:
                    unique_ips.add(ip_match.group(1))  # 添加IP到集合（自动去重）
    
    # 将结果写入新文件
    with open(output_file, 'w') as f:
        for ip in sorted(unique_ips):  # 可选排序
            f.write(ip + '\n')
    
    print(f"处理完成！共找到 {len(unique_ips)} 个唯一IP地址。结果已保存到 {output_file}")

# 执行函数
clean_proxy_file()