Что такое asyncio semaphore и как им пользоваться? 🚦

Этот код небольшой пример демонстрирует работу с asyncio семафором. Асинхронный семафор позволяет ограничить количество одновременных доступов к ресурсу. В примере ниже, мы используем семафор для ограничения количества одновременных запросов к внешнему API.

import asyncio

async def make_request(semaphore):
    async with semaphore:
        print("Making a request")

async def main():
    semaphore = asyncio.Semaphore(3)  # ограничение на 3 запроса одновременно
    tasks = []

    for _ in range(10):
        tasks.append(make_request(semaphore))

    await asyncio.gather(*tasks)

asyncio.run(main())
  

В этом примере мы создаем асинхронный семафор с ограничением на 3 запроса одновременно. Затем мы создаем 10 задач, каждая из которых вызывает функцию make_request с использованием семафора. Семафор ограничивает количество одновременных доступов к функции make_request, поэтому только 3 запроса могут выполняться одновременно, остальные будут ждать, пока один из доступных слотов освободится.

Когда речь заходит о многопоточности и асинхронном программировании в Python, asyncio является одним из наиболее мощных инструментов. Но что означает semaphore в контексте asyncio?

В асинхронном программировании, семафор — это механизм синхронизации, который ограничивает доступ к определенному ресурсу в рамках заданного количества одновременных операций или задач. Концепция семафора основывается на аналогии с физической семафором, который регулирует движение транспорта.

Асинхронный семафор в asyncio позволяет контролировать количество одновременно выполняющихся задач, работающих с определенным ресурсом. Это полезный механизм, когда необходимо контролировать доступ к ограниченным ресурсам, например, базе данных или сетевому соединению.

Давайте рассмотрим пример кода, чтобы лучше понять, как работает семафор в asyncio:

import asyncio

async def task(semaphore):
    # Запрашиваем доступ к семафору
    async with semaphore:
        print("Задача начала выполнение")
        # Имитируем асинхронную задачу
        await asyncio.sleep(1)
        print("Задача завершила выполнение")

async def main():
    # Создаем семафор с максимальным количеством одновременных задач равным 2
    semaphore = asyncio.Semaphore(2)

    tasks = []
    for _ in range(5):
        # Создаем задачи, которые будут конкурировать за доступ к семафору
        tasks.append(task(semaphore))

    # Запуск всех задач
    await asyncio.gather(*tasks)

asyncio.run(main())

В этом примере у нас есть функция task, которая представляет собой асинхронную задачу, требующую доступа к ресурсу. Мы создаем семафор с максимальным количеством одновременных задач равным 2. Затем мы создаем несколько задач и запускаем их с помощью asyncio.gather().

С помощью ключевого слова async with мы запрашиваем доступ к семафору внутри функции task. Это гарантирует, что не более двух задач могут одновременно выполняться. В противном случае, если все доступные слоты заняты, задачи будут ждать, пока семафор не освободится.

Результат выполнения приведенного выше кода будет:

Задача начала выполнение
Задача начала выполнение
Задача завершила выполнение
Задача завершила выполнение
Задача начала выполнение
Задача начала выполнение
Задача завершила выполнение
Задача завершила выполнение
Задача начала выполнение
Задача завершила выполнение

Как видно из результатов, одновременно выполняется не более двух задач, что соответствует количеству доступных слотов в семафоре.

Таким образом, использование semaphore в asyncio позволяет эффективно управлять доступом к ограниченным ресурсам и предотвращать конкуренцию при выполнении задач.