🔽 Как скачать сайт целиком на компьютер с помощью Python? 🔽

import requests
import os

def download_page(url):
    response = requests.get(url)
    return response.text

def save_page(page_content, filename):
    with open(filename, 'w', encoding='utf-8') as file:
        file.write(page_content)

def download_website(url):
    page_content = download_page(url)
    save_page(page_content, 'index.html')

def download_website_recursive(url, folder):
    page_content = download_page(url)
    save_page(page_content, os.path.join(folder, 'index.html'))
    
    links = re.findall(r'href=[\'"]?([^\'" >]+)', page_content)
    for link in links:
        if link.startswith('/'):
            link = url + link[1:]
        elif not link.startswith('http'):
            link = url + link
        
        if link.startswith(url):
            subfolder = link.split('/')[-2]
            subfolder_path = os.path.join(folder, subfolder)
            os.makedirs(subfolder_path, exist_ok=True)
            download_website_recursive(link, subfolder_path)

website_url = 'https://www.example.com'
output_folder = 'downloaded_website'

os.makedirs(output_folder, exist_ok=True)
download_website_recursive(website_url, output_folder)

        
            import requests
            from urllib.parse import urlparse, urljoin
            from bs4 import BeautifulSoup
            import os
            
            def download_page(url):
                # Определяем базовый URL для относительных ссылок
                parsed_url = urlparse(url)
                base_url = parsed_url.scheme + '://' + parsed_url.netloc
                
                # Получаем содержимое страницы
                response = requests.get(url)
                html_content = response.text
                
                # Создаем каталог для сохранения файлов
                directory = os.path.join(os.getcwd(), parsed_url.netloc)
                if not os.path.exists(directory):
                    os.makedirs(directory)
                    
                # Создаем объект BeautifulSoup для работы с HTML
                soup = BeautifulSoup(html_content, 'html.parser')
                
                # Находим все ссылки на странице
                for link in soup.find_all('a'):
                    href = link.get('href')
                    
                    # Проверяем, является ли ссылка относительной или абсолютной
                    if href and not urlparse(href).netloc:
                        absolute_url = urljoin(base_url, href)
                        
                        # Скачиваем содержимое связанного файла
                        file_response = requests.get(absolute_url)
                        file_content = file_response.content
                        
                        # Создаем путь для сохранения файла
                        file_path = os.path.join(directory, href)
                        
                        # Сохраняем файл на диск
                        with open(file_path, 'wb') as file:
                            file.write(file_content)
                            
                # Сохраняем главную страницу на диск
                with open(os.path.join(directory, 'index.html'), 'w') as html_file:
                    html_file.write(html_content)
                    
                print(f'Сайт успешно скачан! Сохранен в папке {parsed_url.netloc}')
                
            # Пример использования функции
            url = 'https://www.example.com'
            download_page(url)
        
    

        
            import scrapy
            
            class MySpider(scrapy.Spider):
                name = 'myspider'
                
                def start_requests(self):
                    url = 'https://www.example.com'
                    yield scrapy.Request(url=url, callback=self.parse)
                    
                def parse(self, response):
                    # Получаем базовый URL
                    base_url = response.url
                    
                    # Сохраняем HTML-контент текущей страницы
                    filename = response.url.split("/")[-2] + '.html'
                    with open(filename, 'wb') as f:
                        f.write(response.body)
                        
                    # Сохраняем все связанные файлы
                    for href in response.css('a::attr(href)').getall():
                        absolute_url = response.urljoin(href)
                        yield scrapy.Request(absolute_url, callback=self.save_file)
                        
                def save_file(self, response):
                    filename = response.url.split("/")[-1]
                    with open(filename, 'wb') as f:
                        f.write(response.body)
    
    

        
            scrapy runspider spider_file.py
        
    

        
            import wget
            
            url = 'https://www.example.com'
            wget.download(url)