Transformers documentation
Webサーバーでの推論
Webサーバーでの推論
Webサーバーとは、リクエストを待ち受け、到着したリクエストに応じて応答を返すシステムです。つまり、Webサーバー上でPipelineを推論エンジンとして使用できます。これは、イテレータ(データセットをイテレートするのと同様の方法)を使用して、各着信リクエストを処理できるためです。
Pipeline を用いた Web サーバーの設計は、根本的に異なる点があるため、独特なものです。Web サーバーは、マルチスレッドや非同期処理などの多重化により、複数のリクエストを並行して処理します。一方、Pipeline とその基盤となるモデルは、メモリを大量に消費するため、並列処理を前提として設計されていません。したがって、Pipeline を実行中、特に計算負荷の高いジョブの場合には、利用可能なリソースをすべて割り当てるのが最善です。
このガイドでは、Pipelineの実行という重い処理を単一のスレッドで処理し、リクエストの受信と送信という比較的軽い処理をWebサーバーで処理することで、この違いを回避する方法を示します。
サーバーの作成
Starletteは、Webサーバーを構築するための軽量フレームワークです。他の任意のフレームワークを使用することもできますが、以下のコードにいくつかの変更を加える必要がある場合があります。
開始前に、Starlette と uvicorn がインストールされていることを確認してください。
!pip install starlette uvicorn
server.pyファイルにシンプルなWebサーバーを作成できます。不要なコピーがメモリを消費するのを防ぐために、モデルを一度だけ読み込むことが重要です。
[MASK] を埋めるためのパイプラインを作成します。
from starlette.applications import Starlette
from starlette.responses import JSONResponse
from starlette.routing import Route
from transformers import pipeline
import asyncio
async def homepage(request):
payload = await request.body()
string = payload.decode("utf-8")
response_q = asyncio.Queue()
await request.app.model_queue.put((string, response_q))
output = await response_q.get()
return JSONResponse(output)
async def server_loop(q):
pipe = pipeline(task="fill-mask",model="google-bert/bert-base-uncased")
while True:
(string, response_q) = await q.get()
out = pipe(string)
await response_q.put(out)
app = Starlette(
routes=[
Route("/", homepage, methods=["POST"]),
],
)
@app.on_event("startup")
async def startup_event():
q = asyncio.Queue()
app.model_queue = q
asyncio.create_task(server_loop(q))次のコマンドでサーバーを起動します。
uvicorn server:app
POST リクエストでサーバーにクエリを送信します。
curl -X POST -d "Paris is the [MASK] of France." http://localhost:8000/これにより、以下の出力が返されるはずです。
[{'score': 0.9969332218170166,
'token': 3007,
'token_str': 'capital',
'sequence': 'paris is the capital of france.'},
{'score': 0.0005914849461987615,
'token': 2540,
'token_str': 'heart',
'sequence': 'paris is the heart of france.'},
{'score': 0.00043787318281829357,
'token': 2415,
'token_str': 'center',
'sequence': 'paris is the center of france.'},
{'score': 0.0003378340043127537,
'token': 2803,
'token_str': 'centre',
'sequence': 'paris is the centre of france.'},
{'score': 0.00026995912776328623,
'token': 2103,
'token_str': 'city',
'sequence': 'paris is the city of france.'}]リクエストのキューイング
サーバーのキューイング機構は、動的バッチングのような興味深いアプリケーションに利用できます。動的バッチングでは、Pipelineで処理する前に、複数のリクエストをまず蓄積します。
以下の例は、パフォーマンスではなく可読性を重視して擬似コードで記述されています。特に、以下の点に注目してください。
バッチサイズに制限はありません。
タイムアウトはキューのフェッチごとにリセットされるため、リクエストの処理を開始するまで、
timeoutの値よりもはるかに長い時間待たされる可能性があります。これにより、最初の推論リクエストも同様の時間だけ遅延します。Web サーバーはキューが空の場合でも常に 1ms 待機しますが、その時間は推論の開始に活用できるため非効率です。ただし、バッチ処理が使用ケースに必須である場合は、この動作が合理的である可能性があります。fetchのたびにリセットするのではなく、以下に示すように単一の1msの期限を設定する方が望ましいです。
async def server_loop(q):
pipe = pipeline(task="fill-mask", model="google-bert/bert-base-uncased")
while True:
(string, rq) = await q.get()
strings = []
queues = []
strings.append(string)
queues.append(rq)
while True:
try:
(string, rq) = await asyncio.wait_for(q.get(), timeout=1)
except asyncio.exceptions.TimeoutError:
break
strings.append(string)
queues.append(rq)
outs = pipe(strings, batch_size=len(strings))
for rq, out in zip(queues, outs):
await rq.put(out)エラーチェック
本番環境では、さまざまな問題が発生する可能性があります。メモリ不足、ディスク容量不足、モデルの読み込み失敗、モデル設定の誤り、クエリの誤りなど、考えられるケースは多岐にわたります。
try...exceptステートメントを追加すると、デバッグのためにこれらのエラーをユーザーに返すのに役立ちます。ただし、特定の情報を開示すべきでない場合、セキュリティ上のリスクとなる可能性がある点にご注意ください。
サーキットブレイキング
サーバーが過負荷になった場合、ユーザーに無制限に待たせるのではなく、503 または 504 エラーを返すようにしてください。
これらは単一のキューのみで構成されるため、実装は比較的簡単です。サーバーが負荷に耐えきれず失敗する前に、キューのサイズを確認して、いつからエラーを返すべきかを判断してください。
メインスレッドをブロックする
PyTorch は非同期処理に対応していないため、計算がメインスレッドの実行をブロックします。
そのため、PyTorch は独立したスレッドまたはプロセスで実行する方が望ましいです。単一リクエストの推論が特に長い場合(1秒以上)は、その重要性が一層高まります。推論中に発生したすべてのクエリは、エラーを受け取る前に1秒間待たなければならないためです。
動的バッチング
バッチ推論の詳細については、そちらを参照してください。
Update on GitHub