大規模言語モデル(LLM)やその他の生成AIモデルの運用は、依存関係、ドライバー、環境を管理するという複雑でフラストレーションの溜まるプロセスとなり得ます。Dockerでは、これはdockerモデル実行と同じくらいシンプルであるべきだと考えています。
だからこそ私たちは Docker Model Runnerを開発し、本日は Universal Blueとの新たなコラボレーションを発表できることを大変嬉しく思います。これらの貢献者の素晴らしい働きのおかげで、Docker Model RunnerはAuroraやBluefinなどのOSに組み込まれ、開発者に強力で箱から出せるAI開発環境を提供しています。
Docker Model Runnerとは何ですか?
まだ試していない方のために説明すると、Docker Model Runnerは私たちの新しい「ただ動く」生成AIモデルの体験です。
私たちの目標は、コンテナを動かすのと同じくらいモデルの実行を簡単にすることです。
この作品の素晴らしい点は以下の通りです:
- シンプルなUX: プロセスを直感的な単一のコマンドに絞りました:docker model run <model-name>。
- 幅広いGPUサポート: NVIDIAから始めましたが、最近 Vulkanのサポートも追加しました。これは大きな出来事です。Model RunnerはAMDやIntelを含む ほぼすべての最新GPUで動作し、AIをこれまで以上に多くの開発者が利用できるようになっています。
- vLLMの: NVIDIA GPUで高スループット推論を行う
モデルランナーのための完璧な家
もし初心者なら、Universal Blueは次世代の開発者向けLinuxデスクトップのファミリーです。これらは「クラウドネイティブ」ワークフローに最適な、モダンで原子的かつ信頼性の高い環境を提供します。
Cloud Native Computing Foundationの開発者リレーションズを率いるホルヘ・カストロ氏は、「BluefinとAuroraはbootcのリファレンスアーキテクチャであり、bootcはCNCFサンドボックスプロジェクトです。これらは、アプリケーションコンテナで使われる同じコンテナパターンがオペレーティングシステムにも適用できることを示す二つの例に過ぎません。AIモデルの扱いも例外ではなく、OCI標準に基づいた共通のツールセットです。」
チームはすでにDockerを開発者向けのコアとして提供しています。Docker Model Runnerをデフォルトインストール(特に開発者向けの-dxモード)に追加することで、バッテリーを含む完全なAI開発環境を作り上げました。
セットアップも設定もありません。BluefinやAuroraなら、ターミナルを開いてモデルを起動するだけです。
今日から始めましょう
最新のBluefin LTSを使っているなら、 開発者モードをオンにすれば問題ありません。DockerエンジンとModel RunnerのCLIはすでにインストールされていて、あなたを待っています。Auroraのイネーブルメント指示は ここに記載されています。
最初のモデルを数秒で稼働させることができます:
このコマンドはモデル(すでにキャッシュされていなければ)をダウンロードして実行し、操作できるようにしてくれます。
他のLinuxを使っていても、同じように簡単に始められます。GitHub リポジトリの指示に従ってください。
次は何ですか?
このコラボレーションは、コミュニティ主導のイノベーションの素晴らしい例です。先見の明のあるアプローチとDocker Model Runnerの迅速な統合に心から感謝したいと思います。
これは始まりに過ぎません。私たちは、AI開発をすべての開発者にとってアクセスしやすく、強力で楽しいものにすることにコミットしています。
参加方法
Docker Model Runnerの強みはコミュニティにあり、成長の余地は常にあります。このプロジェクトを最高のものにするために、皆さんのご協力が必要です。参加するには、以下の方法があります:
- リポジトリにスターを付けます。 サポートを示し、 Docker Model Runnerリポジトリにスターを付けて可視性を高めるのにご協力ください。
- アイデアを投稿してください。 新機能やバグ修正のアイデアはありますか?問題を作成して議論します。または、リポジトリをフォークし、変更を加えて、pull request を送信します。私たちはあなたがどんなアイデアを持っているかを見るのを楽しみにしています!
- 言葉を広める: 友人、同僚、および Docker で AI モデルを実行することに興味がある可能性のある人に伝えてください。
私たちは Docker Model Runner のこの新しい章に非常に興奮しており、一緒に何を構築できるかを見るのが待ちきれません。さあ、仕事に取り掛かりましょう!
