Mô hình MGIE là kết quả của sự hợp tác giữa Apple và các nhà nghiên cứu từ Đại học California, Santa Barbara. Mô hình này có thể cắt, thay đổi kích thước, lật và thêm bộ lọc vào hình ảnh thông qua lời nhắc văn bản.
MGIE, viết tắt của Chỉnh sửa hình ảnh có hướng dẫn MLLM, có thể được áp dụng cho các tác vụ chỉnh sửa hình ảnh đơn giản và phức tạp hơn như sửa đổi các đối tượng cụ thể trong ảnh để làm cho chúng có hình dạng khác hoặc sáng hơn. Mô hình này kết hợp hai cách sử dụng khác nhau của các mô hình ngôn ngữ đa phương thức. Đầu tiên, nó học cách diễn giải lời nhắc của người dùng. Sau đó, nó "tưởng tượng" nội dung chỉnh sửa sẽ trông như thế nào (ví dụ: yêu cầu bầu trời xanh hơn trong ảnh sẽ làm tăng độ sáng trên phần bầu trời của ảnh).
Khi chỉnh sửa ảnh bằng MGIE, người dùng chỉ cần gõ những gì họ muốn thay đổi về bức ảnh. Bài viết đã sử dụng ví dụ về chỉnh sửa hình ảnh một chiếc bánh pizza pepperoni. Nhập lời nhắc “làm cho nó trông tốt cho sức khỏe hơn hơn”, nó sẽ được thêm rau củ phủ lên trên. Bức ảnh chụp những con hổ ở sa mạc Sahara có vẻ tối nhưng sau khi yêu cầu mô hình làm tăng “thêm độ tương phản để mô phỏng nhiều ánh sáng hơn”, bức ảnh có vẻ sáng hơn.
“Thay vì hướng dẫn ngắn gọn nhưng mơ hồ, MGIE đưa ra ý định nhận thức trực quan rõ ràng và dẫn đến việc chỉnh sửa hình ảnh hợp lý. Chúng tôi tiến hành nghiên cứu sâu rộng từ nhiều khía cạnh chỉnh sửa khác nhau và chứng minh rằng MGIE của chúng tôi cải thiện hiệu suất một cách hiệu quả trong khi vẫn duy trì hiệu quả cạnh tranh. Chúng tôi cũng tin rằng khuôn khổ hướng dẫn MLLM có thể đóng góp cho nghiên cứu ngôn ngữ và tầm nhìn trong tương lai”, các nhà nghiên cứu cho biết trong bài báo.
Apple đã cung cấp MGIE thông qua GitHub để tải xuống, nhưng họ cũng phát hành bản demo web trên Hugging Face Spaces.
Một số nền tảng tạo hình ảnh, như DALL-E 3 của OpenAI, có thể thực hiện các tác vụ chỉnh sửa ảnh đơn giản trên ảnh mà chúng tạo thông qua nhập văn bản. Adobe, nhà sáng tạo Photoshop, phần mềm mà hầu hết mọi người tìm đến để chỉnh sửa hình ảnh, cũng có mô hình chỉnh sửa AI của riêng mình. Mô hình Firefly AI của nó hỗ trợ tính năng tạo màu tổng quát, giúp thêm hình nền được tạo cho ảnh.