Mô hình này có tên là Lumiere, được thiết kế nhằm giải quyết thách thức lớn trong tổng hợp video là "xây dựng chuyển động thực tế, đa dạng và mạch lạc".
Các video do AI tạo ra trước đây thường bị giật cục, khiến cho người xem cảm thấy khó chịu. Lumiere mang tới trải nghiệm liền mạch hơn đó thông qua kiến trúc Space-Time U-Net, trong đó tạo ra video hoàn chỉnh từ đầu đến cuối chỉ trong một lần chạy.
Điều này khác với các mô hình trước đây, chỉ tổng hợp những khoảnh khắc chính và cách xa nhau, khiến cho video trông thiếu đồng nhất.
Ngoài ra, Lumiere còn có một tính năng vô cùng hữu ích, đó là khả năng xây dựng phong cách riêng cho video dựa trên hình ảnh mẫu do người dùng cung cấp.
Ví dụ, bạn muốn tạo một video theo phong cách hoạt hình, chỉ cần cung cấp cho Lumiere một hình ảnh hoạt hình, và Lumiere sẽ tạo ra một video hoạt hình với chuyển động và hình ảnh vô cùng mượt mà.
Không chỉ dừng lại ở đó, Lumiere còn có thể chỉnh sửa hoặc chữa những phần bị lỗi trong video sẵn có theo yêu cầu của người dùng.
Ví dụ, bạn có một video bị mờ, chỉ cần cung cấp cho Lumiere một đoạn video mẫu có chất lượng tốt, Lumiere sẽ tự động sửa chữa video bị mờ của bạn.
Google Research đã thực hiện một thử nghiệm để so sánh hiệu năng của Lumiere với các AI tạo video từ văn bản hiện nay, như ImagenVideo, Pika, ZeroScope và Gen2.
Kết quả, Lumiere vượt xa mọi đối thủ trong thử nghiệm, với chất lượng hình ảnh và chuyển động vượt trội.
Mặc dù Lumiere vẫn đang trong giai đoạn thử nghiệm, nhưng Google Research đã tung ra các bản demo của Lumiere, cho phép người dùng trải nghiệm khả năng tạo video đỉnh cao của mô hình này.
Nếu bạn là một fan hâm mộ của "cày phim", hoặc muốn tạo ra những video độc đáo theo phong cách của riêng mình, thì Lumiere là một công cụ vô cùng hữu ích mà bạn không nên bỏ qua.
