写真からAIが5秒の動画作成ができると話題のDreamMachineを試してみた

１枚の写真（静止画）から5秒の動画を作成できるというDreamMachineが話題になっていたので、早速試してみました。

イメージ動画

ちなみにプロモーションの動画はこんな感じ。

Introducing Dream Machine – a next generation video model for creating high quality, realistic shots from text instructions and images using AI. It’s available to everyone today! Try for free here https://t.co/rBVWU50kTc #LumaDreamMachine pic.twitter.com/Ypmacd8E9z

— Luma AI (@LumaLabsAI) June 12, 2024

確かに動画になっていますが、実際に使えそうなものなのかどうかが気になるところ。

もしいい感じに動画にできるのあれば、制作会社としてはお客様から頂いた写真を動画に変換して、ホームページの至るところにオシャレに活用できちゃうじゃないですか。ちょっと想像するとウキウキしてきません？

サンプル画像

今回試してみる写真はこちら。

確かホームページ用に撮影した、弊社スタッフがポストイットを貼り付ける写真です（うろ覚え）。

動画作成方法

動画作成画面はこんな感じになっています。

① 動画にしたい写真を選択
② どんな動画にしたいかのプロンプト（指示）を入力
③ 出力された動画の一覧

日本語のプロンプトでも認識してくれるみたいでして、操作もすごく簡単です。

注意点としては、なぜか句読点を含む日本語のプロンプトはエラーが発生してしまいました。

プロンプト送信ボタンの下側に、「Enhance prompt（プロンプトを強化する）」というチェックボックスがあるのですが、これの効果については謎です。強化したい方はチェックを入れましょう。

実際に動画を作成してみた

最初のプロンプト

最初のプロンプトは、ポストイットを貼り付けるような様子を動画にしたかったので、

「手が動くように」

としてみました。今思うと雑すぎるのですが、画像の内容を認識してくれていれば、ポストイットを貼り付ける動画にしてくれるのではないかと思ったのです。

そして結果がこちら、

手が動くどころかなぜか全く知らないお兄さんが登場してきました笑

２回目のプロンプト

次は反省を活かしてもう少し具体的なプロンプトにしてみました。

「ポストイットを貼り付けるように」

これならバッチリなはずです。そして結果がこちら、

貼り付けてくれてはいるんですが、手に何やら違和感があります…。

これを見る限りでは、新たに生成する部分が多ければ多いほど、違和感を生んでしまう可能性があるのかなといった感じです。

３回目のプロンプト

最後は長めの指示を試してみようということで、

「ポストイットを剥がした後にポストイットが燃え上がって宇宙まで飛んでいく」

というとんでもプロンプトを入力してみました。

結果がこちら。

Oh…

ポストイットを剥がそうとしてくれてる感じは良かったんですが（良くないですけど）、宇宙までは飛んでいきませんでした。あと違和感もたくさん。

細かい感想は皆さんにお任せしたいと思います。

あとは、始め方や料金についてご紹介して終わりたいと思います。

DreamMachineの始め方

まずは、DreamMachineにアクセス。

Luma Dream Machine

Dream Machine is an AI model that makes high quality, realistic videos fast from text and images from Luma AI

lumalabs.ai

サイト右上の「Try Now」を押すと、Googleアカウントとの連携を求められます。

現在は連携する以外にアカウントを作成する方法が無いみたいです。ただ連携をするだけで、すぐに始めることができます。

料金

サンプル動画を見ていただいた方ならわかると思いますが、無料で作成した動画ではロゴの透かしが入るようになっています。

そこで有料プランの出番なわけですが、現在プランは３つ。それから月額で支払うか、年間で支払うかのオプションがあります。

多くの方がまずはお試しで月額入会したいのではないかと思いますので、今回は月額プランを表形式にしてご紹介します。

無料ですと、月に30回まで。有償にすると、回数と優先度が良くなるみたいです。確かに無料版で試していたとき、動画にするのに結構な時間がかかっていました。（体感3分ほど）

開発会社について

英語でよくわからなかったので、ChatGPTに聞いてみたところ、

LumaLabs.ai（Luma AI）は、先進的な3DモデリングとAI技術を専門とする企業です。2021年にAmit Jain、Alex Yu、Alberto Taiutiによって設立され、カリフォルニア州パロアルトに本社を構えています。

Luma AIは、追加の機器を必要とせず、スマートフォンを使用して3Dモデルを作成できるフォトリアリスティックな3Dキャプチャソフトウェアで知られています。この技術は、eコマース、不動産、ゲームなどのさまざまな業界で重要な応用が期待されています。同社のプラットフォームは、神経キャプチャとレンダリングシステムを利用して、カジュアルなスマートフォンの写真を高品質な3Dモデルに変換します。

同社は、成長と技術の進歩を支援するために多額の資金を調達しています。最近のシリーズBラウンドでは、Luma AIは4300万ドルを調達し、累計資金調達額は7000万ドルを超えました。この資金調達ラウンドは、Andreessen Horowitzを含む著名な投資家によって主導され、同社の評価額は2億ドルから3億ドルとされています。

Luma AIは、テキストの説明から3Dオブジェクトを作成する次世代の生成AIモデルの開発に取り組んでおり、現在の世代のAIモデルにおける「不気味の谷」問題に対処しています。同社は、これらの進歩を支えるために、従業員数を倍増し、サーバーインフラストラクチャを拡大する計画を立てています。

詳細は公式サイト LumaLabs.ai をご覧ください。

とのことです。アメリカの会社みたいですね。

まとめ：使ってみた感想

というわけでざっくり試した感想は、

「複雑なプロンプトは実用化できないが、動きを付ける程度なら使える」

でした。

部分的には実用化できますが、写真を動画にしたいシーンが、制作会社としてどれくらいあるかというと疑問です。ただ、アイデアの１つとして持っておくのは良さそうです。

Luma Dream Machine

Dream Machine is an AI model that makes high quality, realistic videos fast from text and images from Luma AI

lumalabs.ai