Как работает сельдерей - полное руководство для начинающих 🌱🔬

Селери — это асинхронная задача, призванная облегчить выполнение фоновых задач в веб-приложениях.

Он работает по принципу распределенной очереди задач. Вы создаете задачи и отправляете их в очередь. Затем один или несколько рабочих процессов, называемых воркерами, берут задачи из очереди и выполняют их асинхронно.

Распределение задач между воркерами осуществляется с использованием брокера сообщений, такого как RabbitMQ или Redis. Когда вы отправляете задачу, она помещается в очередь брокера, откуда ее забирает доступный воркер для выполнения.

Пример создания и отправки задачи в Celery:

  from celery import Celery
  
  app = Celery('myapp', broker='amqp://guest@localhost//')
  
  @app.task
  def add(x, y):
      return x + y
  
  add.delay(4, 6)
  

В этом примере мы создаем экземпляр Celery, указывая брокер сообщений (в данном случае RabbitMQ). Затем мы определяем задачу add с помощью декоратора @app.task и определяем ее реализацию. Затем мы вызываем эту задачу с помощью метода delay, указывая аргументы.

После выполнения задачи результат будет доступен с помощью метода get:

  result = add.delay(4, 6)
  print(result.get())
  

В этом примере мы сохраняем результат задачи в переменной result и затем выводим его с помощью метода get().

Таким образом, с помощью Celery вы можете асинхронно выполнять фоновые задачи в вашем веб-приложении, используя распределенную очередь задач и воркеров.

Как работает Celery?

Celery - это популярная и мощная библиотека для асинхронной обработки задач в Python. Она позволяет выполнять задачи в фоне, не блокируя основной поток выполнения программы. В этой статье мы рассмотрим, как работает Celery и как его использовать для эффективной обработки задач в ваших проектах.

Архитектура Celery

Celery состоит из трех основных компонентов: брокера сообщений (message broker), воркеров (workers) и результатов (results). Работа с Celery начинается с настройки брокера сообщений. Брокер сообщений - это сервер, который обеспечивает передачу сообщений между воркерами и клиентом Celery. Он может быть реализован с использованием различных технологий, таких как RabbitMQ, Redis или другие.

После настройки брокера сообщений мы можем создавать задачи и отправлять их на выполнение. Задачи представляют собой обычные функции Python, которые выполняются асинхронно. Когда задача отправляется на выполнение, брокер сообщений передает ее воркерам для обработки.

Воркеры являются отдельными процессами или потоками, которые выполняют задачи, полученные от брокера сообщений. Воркеры могут быть запущены на одной или нескольких машинах в зависимости от требований вашего проекта. Они принимают задачи из очереди и выполняют их в фоновом режиме.

После выполнения задачи результат может быть отправлен обратно клиенту. Результаты могут быть сохранены в брокере сообщений или базе данных. Они позволяют клиенту узнать статус выполнения задачи и получить результат, когда он будет готов.

Пример использования Celery

Давайте рассмотрим пример использования Celery. Предположим, у нас есть веб-приложение, которое позволяет пользователям загружать изображения. Мы хотим обрабатывать загруженные изображения асинхронно с помощью Celery.

Сначала мы должны настроить брокера сообщений, например, RabbitMQ. Затем мы создаем экземпляр Celery и указываем адрес брокера сообщений:

from celery import Celery

app = Celery('myapp', broker='amqp://guest@localhost//')
  

Затем мы можем определить задачу, которая будет обрабатывать загруженные изображения:

@app.task
def process_image(image_path):
    # Код обработки изображения
    pass
  

Теперь, когда пользователь загружает изображение, мы можем отправить задачу на выполнение:

result = process_image.delay(image_path)
  

Мы получаем объект результата, который мы можем использовать для проверки статуса выполнения задачи или получения результата, когда он будет готов:

if result.ready():
    result.get()
  

Заключение

Celery - это мощный инструмент для асинхронной обработки задач в Python. Он позволяет разрабатывать эффективные и масштабируемые системы, разделяя обработку задач на отдельные воркеры. Мы изучили основы работы с Celery и привели пример использования.