カスタムモデルの構築と運用はまだ難しいです
ローカルでAIモデルを動かすのは依然として難しいです。オープンソースのLLMがより高性能になって いても、 適切な依存関係をつけて実際にマシン上で動作させるのは遅く、脆く、一貫性に欠けています。
この課題には二つの側面があります。
- モデル作成と最適化:ファインチューニングと量子化の効率化。
- モデルの実行と移植性:モデルを再現可能で、孤立し、普遍的にする。
両方を解決することで、開発者は実際に自分が作ったモデル を活用 できるようになります。
Docker + Unsloth:カスタムモデルの反復をより速くする
多くの開発者は APIを消費 するのではなく 、モデルを所有したいと考えています。彼らは自分たちのユースケースに合わせてモデルを微調整したいと思っていますが、それを実現するのは依然として難しいです。
Unslothと協力し、カスタムLLMの構築、反復、運用をローカルでより速く、簡単かつアクセスしやすくできることを楽しみにしています。
Unsloth は、ファインチューニングされたカスタムモデルを製作(および輸出)する際の障壁を下げます。Dockerはどこでも動かす障壁を下げます。
現在では、Docker Model Runnerを使えばMac、Windows、LinuxでUnsloth Dynamic GGUFを含むあらゆるモデルを実行できます。実験と実行の間の摩擦、つまり依存性と再現性のギャップが解消されます。
Docker Model Runner(DMR)では、モデルの起動はdocker model run非常に簡単です。例えば、OpenAIのオープンウェイトモデルをローカルで実行するのは非常に簡単になります:
Docker Model run AI/GPT-OSS:20B
仕組み
- アンスロースで微調整してください。効率的にモデルを訓練・最適化しましょう。
- GGUFにエクスポートしてください。軽量で携帯可能な形式に量子化し、高速局所推論が可能です。
- Dockerで走りましょう。dockerモデルを実行して即座に起動してください。手動設定はありません。
Unslothの ダイナミックGGUF は、コンパクトで細かく調整されたモデルの作成を支援します。Docker Model Runnerは、依存関係の問題を気にせずにコンテナのように簡単に起動し、実行できるようにします。
次のステップ
AIを構築し運用することは、コードを開発・リリースするのと同じくらい自然に感じられるべきです。コンテナがアプリケーションのデプロイを標準化したのと同様に、今やAIについても同様のことをしています。
Unsloth + Docker はその旅のもう一つの段階を示しています。詳細 はドキュメントをご覧ください。
