Transformers documentation

웹 서버 추론

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

웹 서버 추론

웹 서버는 요청을 기다렸다가 요청이 들어오면 처리하는 시스템입니다. 이는 Pipeline을 웹 서버의 추론 엔진으로 사용할 수 있음을 의미합니다. 각 수신 요청을 처리하기 위해 반복자(이터레이터)를 사용할 수 있기 때문입니다(데이터셋을 반복하는 방식과 유사합니다).

Pipeline를 사용하여 웹 서버를 설계하는 것은 고유한 문제입니다. 웹 서버는 멀티스레드, 비동기 처리 등을 통해 여러 요청을 동시에 처리하도록 설계된 반면, Pipeline과 그 기반 모델은 대량의 메모리를 사용하므로 병렬 처리를 위해 설계되지 않았습니다. 따라서 Pipeline을 실행하거나 계산 집약적인 작업을 수행할 때는 가용한 모든 리소스를 할당하는 것이 가장 좋습니다.

이 가이드는 웹 서버를 사용하여 요청 수신 및 전송이라는 가벼운 부하를 처리하고, Pipeline 실행이라는 더 무거운 부하는 단일 스레드로 처리하는 방식으로 이 차이를 우회하는 방법을 보여줍니다.

서버 생성

Starlette는 웹 서버를 구축하기 위한 경량 프레임워크입니다. 다른 프레임워크를 자유롭게 사용할 수 있지만, 아래 코드를 일부 수정해야 할 수 있습니다.

시작하기 전에 Starlette와 uvicorn이 설치되어 있는지 확인하세요.

!pip install starlette uvicorn

server.py 파일에서 간단한 웹 서버를 만들 수 있습니다. 메모리를 과도하게 사용하지 않도록 모델을 한 번만 로드하는 것이 핵심입니다.

[MASK] 토큰을 채우는 파이프라인을 생성합니다.

from starlette.applications import Starlette
from starlette.responses import JSONResponse
from starlette.routing import Route
from transformers import pipeline
import asyncio

async def homepage(request):
    payload = await request.body()
    string = payload.decode("utf-8")
    response_q = asyncio.Queue()
    await request.app.model_queue.put((string, response_q))
    output = await response_q.get()
    return JSONResponse(output)

async def server_loop(q):
    pipe = pipeline(task="fill-mask",model="google-bert/bert-base-uncased")
    while True:
        (string, response_q) = await q.get()
        out = pipe(string)
        await response_q.put(out)

app = Starlette(
    routes=[
        Route("/", homepage, methods=["POST"]),
    ],
)

@app.on_event("startup")
async def startup_event():
    q = asyncio.Queue()
    app.model_queue = q
    asyncio.create_task(server_loop(q))

다음 명령으로 서버를 시작합니다.

uvicorn server:app

POST 요청으로 서버를 쿼리합니다.

curl -X POST -d "Paris is the [MASK] of France." http://localhost:8000/

아래의 출력이 반환되어야 합니다.

[{'score': 0.9969332218170166,
  'token': 3007,
  'token_str': 'capital',
  'sequence': 'paris is the capital of france.'},
 {'score': 0.0005914849461987615,
  'token': 2540,
  'token_str': 'heart',
  'sequence': 'paris is the heart of france.'},
 {'score': 0.00043787318281829357,
  'token': 2415,
  'token_str': 'center',
  'sequence': 'paris is the center of france.'},
 {'score': 0.0003378340043127537,
  'token': 2803,
  'token_str': 'centre',
  'sequence': 'paris is the centre of france.'},
 {'score': 0.00026995912776328623,
  'token': 2103,
  'token_str': 'city',
  'sequence': 'paris is the city of france.'}]

요청 대기

서버의 큐잉 메커니즘은 동적 배치와 같은 흥미로운 애플리케이션에 사용할 수 있습니다. 동적 배치는 여러 요청을 먼저 축적한 다음 Pipeline로 처리합니다.

아래 예시는 성능이 아니라 가독성을 위해 의사 코드로 작성되어 있으며, 특히 다음 사항을 확인할 수 있습니다:

  1. 배치 크기 제한이 없습니다.

  2. 큐에서 항목을 가져올 때마다 타임아웃이 재설정되므로, 요청을 처리하기 전에 timeout 값보다 훨씬 더 오래 기다리게 될 수 있습니다. 이로 인해 첫 번째 추론 요청도 그만큼 지연됩니다. 웹 서버는 큐가 비어 있더라도 항상 1ms를 대기하는데, 이 시간은 추론을 시작하는 데 활용할 수 있으므로 비효율적입니다. 다만 배치 처리가 사용 사례에 필수적이라면 합리적인 선택일 수 있습니다.

    1ms의 단일 마감 시간을 설정하는 것이, 아래에 표시된 것처럼 모든 fetch마다 이를 재설정하는 것보다 더 좋습니다.

async def server_loop(q):
    pipe = pipeline(task="fill-mask", model="google-bert/bert-base-uncased")
    while True:
        (string, rq) = await q.get()
        strings = []
        queues = []
        strings.append(string)
        queues.append(rq)
        while True:
            try:
                (string, rq) = await asyncio.wait_for(q.get(), timeout=1)
            except asyncio.exceptions.TimeoutError:
                break
            strings.append(string)
            queues.append(rq)
        outs = pipe(strings, batch_size=len(strings))
        for rq, out in zip(queues, outs):
            await rq.put(out)

오류 검사

프로덕션 환경에서는 다양한 문제가 발생할 수 있습니다. 메모리 부족, 디스크 공간 부족, 모델 로딩 실패, 잘못된 모델 구성, 잘못된 쿼리 등 그 밖에도 수많은 문제가 있을 수 있습니다.

try...except 문장을 추가하면 이러한 오류를 디버깅을 위해 사용자에게 반환하는 데 도움이 됩니다. 특정 정보를 노출해서는 안 되는 경우 보안 위험이 될 수 있다는 점을 유의하세요.

서킷 브레이킹

서버가 과부하 상태일 때 사용자가 무한정 대기하도록 강제하는 대신 503 또는 504 오류를 반환하도록 하세요.

이러한 오류 유형을 구현하는 것은 비교적 간단합니다. 단일 큐만 사용하므로, 서버가 부하로 인해 실패하기 전에 언제부터 오류를 반환할지 결정하기 위해 큐 크기를 확인해 보세요.

메인 스레드 차단

PyTorch는 비동기(Async)를 인식하지 않으므로, 계산이 메인 스레드의 실행을 차단합니다.

이 때문에 PyTorch를 별도의 독립된 스레드나 프로세스에서 실행하는 것이 좋습니다. 단일 요청의 추론 시간이 특히 긴 경우(1초 이상)에는 더욱 중요하며, 이는 추론 중 모든 쿼리가 오류를 수신하기 전에 1초를 기다려야 함을 의미하기 때문입니다.

동적 배치

Dynamic batching은 적절한 환경에서 사용할 때 매우 효과적일 수 있지만, 한 번에 요청 1개만 전달하는 경우에는 필요하지 않습니다(자세한 내용은 batch inference를 참조하세요).

Update on GitHub