Open WebUI + Docker Model Runner:セルフホストモデル、ゼロ設定

Docker Model Runner (DMR)と Open WebUIのシームレスな新しい統合を発表できることを嬉しく思います。これにより、セルフホストモデルの扱いがこれまで以上に簡単になる2つのオープンソースプロジェクトが一つになっていきます。

このアップデートにより、Open WebUIはlocalhost:12434で動作中のDocker Model Runnerを自動的に検出し接続します。Docker Model Runnerを有効にしていれば、Open WebUIはそのまま使うので、追加の設定は不要です。

その結果、数分で動作する完全Docker管理のセルフホストモデル体験が実現しました。

docker desktop enable model-runner --tcp

より良い連携:Docker Model RunnerとOpen WebUI

Docker Model RunnerとOpen WebUIは同じオープンソースの考え方から生まれています。これらは、ノートパソコンで素早く実験したり、より高性能な専用GPUホストであれ、モデルの動作やシステムの構成をコントロールしたい開発者向けに作られています。

Docker Model Runnerはランタイムレイヤーに焦点を当てており、開発者がすでに依存しているツールを使ってセルフホストモデルをDockerネイティブに運用・管理する方法です。Open WebUIは体験に焦点を当てています。すなわち、これらのモデルをアクセス可能で有用にする、クリーンで拡張可能なインターフェースです。

今では、両者が自動的に接続しています。

手動のエンドポイント設定も不要です。余計なフラグはありません。

オープンソースが最も得意な統合は、別々のプロジェクトが独立して進化しつつも、自然に組み合えるように設計されているのです。

ゼロコンフィッション設定

Docker Model Runnerを有効にしていれば、Open WebUIの開始は以下のように簡単です:

docker run -p 3000:8080 openwebui

それだけです。

Open WebUIは自動的にDocker Model Runnerに接続し、セルフホストモデルの使用を開始します。環境変数も手動のエンドポイント設定も追加のフラグも不要です。

訪問:http://localhost:3000 アカウントを作成してください:

そして、最新のウェブインターフェースを通じてモデルとやり取りする準備ができています:

設計上オープン

この統合の良い点の一つは、特別な調整や独自のフックを必要としなかったことです。Docker Model RunnerとOpen WebUIはどちらもオープンソースプロジェクトで、明確な境界と明確なインターフェースを持っています。それらは独立して作られ、きれいに組み合わさった。

Docker Model Runnerは、すでにDockerを使っている人にとって自然に感じられる方法でモデルの実行と管理に焦点を当てています。

Open WebUIは、これらのモデルを使いやすくすることに焦点を当てています。インターフェース層、会話管理、拡張性を現代のウェブUIに期待する機能を提供します。

両プロジェクトがオープンであるため、隠れた契約はありません。接続の仕組みが見て取れます。必要なら修正も可能です。パーツを別々に展開することも、一緒に配置することも可能です。統合はブラックボックスではなく、ソフトウェアが明確なインターフェースを語っているだけです。

あなたのセットアップで動作します

このアプローチの実用的な利点の一つは柔軟性です。

Docker Model Runnerはモデルの配置を決めるものではありません。開発中はノートパソコンに保管されているかもしれませんし、より高性能なリモートマシンに存在しているかもしれませんし、管理された内部環境に置かれているかもしれません。Docker Model Runnerにアクセス可能であれば、Open WebUIは接続可能です。

ランタイムとインターフェースの分離は意図的なものです。UIはモデルのプロビジョニング方法を知る必要はありません。ランタイムはUIの提示方法を知る必要はありません。各レイヤーが役割を果たします。

この統合により、その境界線はほとんど見えなくなります。コンテナを起動し、ブラウザを開くとすべてが合います。

モデルがどこに走るかはあなたが決めます。Open WebUIはそこでそれらに出会うだけです。

概要

Open WebUIとDocker Model Runnerは、セルフホスト型AIをシンプルで柔軟、そして完全にあなたの管理下に置くものにします。Dockerはランタイムを駆動します。Open WebUIは、その上に最新のインターフェースを提供します。 

自動検出とゼロ設定を使えば、Docker Model Runnerを有効にしてから数分でモデルとやり取りできるようになります。 

両プロジェクトともオープンソースで、明確な境界線で構築されているため、好きな場所でモデルを動かし、パーツを一緒にまたは個別にデプロイできます。次にどんな作品を作るのか、とても楽しみです! 

参加方法

Docker Model Runnerの強みはそのコミュニティにあり、常に成長の余地があります。このプロジェクトを最高のものにするために、皆様のご協力が必要です。参加するには、次のことができます。

• リポジトリに星をつける: Docker Model Runnerリポジトリに星をつけて、私たちの認知度を高めるためにご支援いただければ幸いです。
• アイデアを投稿してください。 新機能やバグ修正のアイデアはありますか?問題を作成して議論します。または、リポジトリをフォークし、変更を加えて、pull request を送信します。私たちはあなたがどんなアイデアを持っているかを見るのを楽しみにしています!
• 言葉を広める: 友人、同僚、および Docker で AI モデルを実行することに興味がある可能性のある人に伝えてください。

私たちは Docker Model Runner のこの新しい章に非常に興奮しており、一緒に何を構築できるかを見るのが待ちきれません。さあ、仕事に取り掛かりましょう!

さらに詳しく

• Docker Model Runner の一般提供に関するお知らせを確認する
• Model Runner GitHub リポジトリにアクセスしてください。Docker Model Runner はオープンソースであり、コミュニティからのコラボレーションと貢献を歓迎します。
• シンプルなHello GenAIアプリケーションからDocker Model Runnerを使い始めましょう