12月 11日、 2025
Docker Model Runnerは現在、Windows上でvLLMをサポートしています
Windows上でDocker Model RunnerとWSL2を使ってGPUアクセラレーション付きのvLLMを実行できます。高速AI推論が登場しました。
今すぐ読む
2025年11月20日
Docker Model Runnerは高スループット推論のためにvLLMを統合
新作:Docker Model RunnerでのvLLM。Dockerを用いたNVIDIA GPUの自動エンジンルーティングを持つセーフテンサーモデルの高スループット推論。
ドリン・ゲマン、
エリック・カーティン、
そして
イグナシ・ロペス・ルナ
今すぐ読む