Python 快速克隆网站并保存到本地

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin, urlparse
import os
import shutil
import re

def get_valid_filename(url):
    """
    从URL生成有效的本地文件名。
    替换掉文件名中不允许的字符。
    """
    # 提取域名和路径部分用于构造文件名
    parsed_url = urlparse(url)
    # 组合网络位置和路径，替换非字母数字字符为下划线
    filename = parsed_url.netloc + parsed_url.path
    # 确保文件名以.html结尾，且不含无效字符
    if not filename.endswith('.html'):
        if filename.endswith('/'):
            filename += 'index.html'
        else:
            filename += '.html'
    # 使用正则表达式替换无效字符
    filename = re.sub(r'[^a-zA-Z0-9_.-]', '_', filename)
    return filename

def download_resource(url, save_dir):
    """
    下载单个资源（如图片、CSS、JS文件）并保存到指定目录。
    """
    try:
        response = requests.get(url, stream=True, timeout=10)
        response.raise_for_status()  # 检查请求是否成功
        # 从URL中提取有效的文件名
        file_name = os.path.basename(urlparse(url).path)
        if not file_name:  # 如果URL以斜杠结尾，没有文件名部分
            file_name = 'index.html'
        # 确保保存目录存在
        os.makedirs(save_dir, exist_ok=True)
        file_path = os.path.join(save_dir, file_name)
        
        # 写入文件
        with open(file_path, 'wb') as f:
            # 对于大文件，使用流式下载
            for chunk in response.iter_content(chunk_size=8192):
                if chunk:
                    f.write(chunk)
        print(f"下载成功: {url} -> {file_path}")
        return file_path
    except Exception as e:
        print(f"下载资源 {url} 时出错: {e}")
        return None

def clone_website(base_url, output_dir="cloned_site"):
    """
    克隆指定URL的网站内容到本地目录。
    
    参数:
        base_url (str): 要克隆的网站URL
        output_dir (str): 保存克隆内容的本地目录
    """
    # 获取主页面HTML内容
    try:
        response = requests.get(base_url)
        response.raise_for_status()
        html_content = response.text
    except Exception as e:
        print(f"获取 {base_url} 内容失败: {e}")
        return

    # 创建输出目录
    os.makedirs(output_dir, exist_ok=True)
    
    # 解析HTML内容
    soup = BeautifulSoup(html_content, 'html.parser')
    
    # 查找需要下载的资源 (CSS, JS, 图片)
    resource_tags = soup.find_all(['link', 'script', 'img'])
    resources_to_download = []
    
    for tag in resource_tags:
        url = None
        if tag.name == 'link' and tag.get('rel') == ['stylesheet']:  # CSS文件
            url = tag.get('href')
            attr_name = 'href'
        elif tag.name == 'script' and tag.get('src'):  # JS文件
            url = tag.get('src')
            attr_name = 'src'
        elif tag.name == 'img' and tag.get('src'):  # 图片
            url = tag.get('src')
            attr_name = 'src'
        
        if url:
            # 将相对URL转换为绝对URL
            full_url = urljoin(base_url, url)
            resources_to_download.append((full_url, tag, attr_name))
    
    # 下载所有资源文件并更新HTML中的链接为本地路径
    for resource_url, tag, attr_name in resources_to_download:
        local_path = download_resource(resource_url, output_dir)
        if local_path:
            # 更新标签中的链接为本地文件名
            tag[attr_name] = os.path.basename(local_path)
    
    # 保存主HTML文件
    main_filename = get_valid_filename(base_url)
    main_filepath = os.path.join(output_dir, main_filename)
    with open(main_filepath, 'w', encoding='utf-8') as f:
        f.write(str(soup))
    print(f"主页面已保存: {main_filepath}")
    
    print(f"克隆完成！网站内容已保存到目录: {output_dir}")

if __name__ == "__main__":
    # 用户输入要克隆的网站URL
    target_url = input("请输入要克隆的网站URL (包括 http:// 或 https://): ").strip()
    
    # 指定输出目录
    output_directory = input("请输入保存克隆网站的目录名称 (默认为 'cloned_site'): ").strip()
    if not output_directory:
        output_directory = "cloned_site"
    
    # 开始克隆
    clone_website(target_url, output_directory)