Gemini Omniの紹介

Gemini Omni Flashは、任意の入力からあらゆるものを作成できるモデルで、ビデオから始めます。

昨年、Nano BananaがGeminiのインテリジェンスを画像生成・編集に取り入れました。それ以来、何百万人もの人々が古い写真の修復、スケッチからのデザイン、以前には不可能だった方法でのアイデアの視覚化に役立ててきました。私たちは当初からGeminiをネイティブにマルチモーダルに構築し、今、その次のステップを踏み出します。

Gemini Omniを紹介します。Geminiの推論能力と生成能力が融合したモデルです。Omniは、任意の入力からあらゆるものを作成できる新しいモデルで、ビデオから始めます。Omniでは、画像、音声、ビデオ、テキストを組み合わせて入力し、Geminiの実世界知識に基づいた高品質なビデオを生成できます。また、会話を通じてビデオを簡単に編集することも可能です。

本日、Omniファミリーの最初のモデルであるGemini Omni Flashを、Geminiアプリ、Google Flow、YouTube Shorts向けに展開します。今後、画像や音声などの出力モダリティもサポート予定です。以下に、Omniの特長をいくつかご紹介します。

会話を通じてビデオを編集

Gemini Omniは、自然言語を使ってより簡単にビデオを編集できます。各指示は前の指示に基づいて適用され、キャラクターの一貫性が保たれ、物理法則が守られ、シーンはこれまでの内容を記憶します。

周囲の世界を変える。特定の要素を変更したり、すべてを変えたりできます。ビデオは、自分では撮影できなかった何かの出発点となります。

Prompt: Make the sculpture out of bubbles.

アクションを再構築する。撮影したビデオを取り込み、Omniに何が起こっているかを変えるよう依頼するだけで、アクションを編集したり、新しいキャラクターやオブジェクトを追加したり、予想外のものに変換したりできます。

Prompt: When the person touches the mirror, make the mirror ripple beautifully like liquid, and the person's arm turns into reflective mirror material.

Prompt: Dim the lights in the room. Put a black and white checkerboard room inside a glass sphere that floats tracking above the hand, inside it contains a recursive representation of the same hand holding the sphere, creating an infinite recursive of rooms. Camera slowly gets closer into the sphere, creating a video loop.

Prompt: The lights of the apartments start turning on in sync with the music.

複数回のやり取りでビデオを洗練させる。元のシーンの流れを失うことなく、環境、アングル、スタイル、または特定の詳細を変更できます。カルーセルをスクロールして、編集がどのように積み重なっていくかをご覧ください。

Prompt: A video of a violinist playing a song.

Prompt: Transport the violinist to the image environment

Prompt: Make the violin invisible

Prompt: Change the camera angle to be over the violinist’s shoulder.

Geminiの世界知識に基づいたアイデアを具現化

Gemini Omniは、現実的に見えるシーンを構築するだけでなく、次に何が起こるべきかを推論します。物理の直感的な理解と、Geminiの歴史、科学、文化的な文脈に関する知識を組み合わせ、フォトリアリズムから意味のあるストーリーテリングへのギャップを埋めます。

より正確な物理に基づいたビジュアルを作成。Omniは、重力、運動エネルギー、流体力学などの力に対する直感的な理解を向上させており、より現実的なシーンを作成できます。

Prompt: A marble rolling fast on a chain reaction style track, continuous smooth shot.

知識と創造性を融合させる。OmniはGeminiの知識を活用し、言語、イメージ、意味をパターンマッチングをはるかに超える方法で結びつけます。

Prompt: The video shows items of the alphabet. An unusual item starting with each letter is shown sitting on a table (like a Capybara for C, disco globe for D and Lava Lamp for L). All 26 letters must be represented by 26 items with matching lower thirds displaying the letter. Only one item and lower third at a time. Each lower third must look like a black marker written on a slip of paper in the bottom left. Rapid fire, roughly 9 frames per item at 24FPS. Last frame is a slip of paper "THE END". The whole video is accompanied by calm smooth music.

複雑なアイデアをビジュアル化。Omniは短いプロンプトから説得力のある説明動画を作成し、より複雑なアイデアを分解するビジュアルを生成できます。

Prompt: claymation explainer of protein folding, everything is made out of clay, no hands, stop motion, accurate

あらゆる入力の組み合わせからビデオを作成

あらゆるものを参照する。Omniは、画像、テキスト、ビデオ、音声など、あらゆるリファレンスを単一のまとまりのある出力に変換します。最初は音声リファレンスのみがサポートされますが、他のタイプの音声入力も近日中に展開予定です。

Prompt: Dynamic sci-fi film style video based on image_0.png. Elements light up similar to video_0.mp4 synchronized to the beat of the music from audio_0.wav

Prompt: Referring to the extreme camera movement, perspective, and distortion in video-0, create a front-facing full-body walk cycle of the character from image-0, quickly style-shifting into multiple visual styles during the walk cycle, starting from realistic cinema. Keep the environment, only change styles. Hard cut backgrounds always centering the sky. Continuous walking, continuous audio, and style shifts in perfect sync to the beat of the audio. Cinematic, 16:9.

Prompt: Add harp sounds synchronized to when I touch each fern leaf. Change the leaf structure to all resemble semi translucent 3d bioluminescent plant life, with bioluminescent fireflies flying around it that react as I play, in sync with the sounds, subtle bokeh depth of field dynamic lighting, reflecting off the walls in the room, keeping the room structure the same

手元にあるものから始める。入力リファレンスを使用することで、キャラクター、シーン、または描画の画像を使って、自分のビジョンに合った方法で作成できます。

Prompt: Imagine the world gradually changing into retro futuristic style (grainy and moody as image-1) as I walk. Use the audio for a retro-futuristic background music. 10s.

Prompt: turn this into realistic footage, using the drawing only as a guide for movement, do not show the drawing in the final video

Prompt: Apply the pose and motion from input video to provided character from this image. Apply style from image reference to the new video

スタイル、モーション、またはエフェクトを適用する。入力リファレンスを使用してビジュアル言語を定義したり、自然言語で説明したりできます。Omniは入力リファレンスをブレンドしてまとまりのあるクリップを作成します。

Prompt: edit this keeping everything the same. add animated motion effects coming out of the skateboard

Prompt: Apply the motion of the whale swimming from the provided video to the provided image of fluid reflective material. Do not show the whale or water; instead, have this reflective moving material form a shape that resembles the whale as it swims. Replace water with white smooth material shapes that move

独自のデジタルアバターでビデオを作成

私たちは責任あるAIの開発に取り組んでおり、ユーザーを害から守り、AIツールの使用を管理するための明確なポリシーを定めています。まず、Avatarsを使用して自分の声でビデオを作成できます。Avatarsは自分のデジタル版を作成し、自分に似た見た目と音声のビデオを生成できます。アバター機能以外では、音声や発話を変更するビデオ編集機能については、引き続きテストを行い、ユーザーに責任を持って提供する方法を模索しています。

Omniで作成されたすべてのビデオには、知覚できないSynthIDデジタル透かしが含まれます。Geminiアプリ、Gemini in Chrome、Google Searchを通じて、Gemini Omniで生成されたビデオを簡単に確認できます。ウェブ上のコンテンツがどのように作成・編集されたかを理解するために、コンテンツの透明性と検証ツールを拡大する方法については、当社のブログ記事で詳しくご覧いただけます。

Gemini Omniを今すぐお試しください

本日、Omniファミリーの最初のモデルであるGemini Omni Flashをリリースします。Gemini Omni Flashは本日より、Google AI Plus、Pro、Ultraの全サブスクライバー向けに、GeminiアプリおよびGoogle Flowを通じて世界中で展開されます。また、今週からYouTube ShortsおよびYouTube Create Appのユーザー向けに無料で展開されます。

今後数週間で、API経由で開発者および企業のお客様にも展開予定です。

Get more stories from Google in your inbox.

完了しました。あと1ステップです。

受信トレイで購読を確認してください。

すでにニュースレターを購読されています。

以下の方法でも購読できます。