Apple julkisti äskettäin kaksi AI-työkalua: MGIE (MLLM-ohjattu kuvan muokkaaminen) ja KeyFramer. Nämä huippuluokan tekniikat lupaavat määritellä uudelleen tapa, jolla käyttäjät ovat vuorovaikutuksessa kuvien ja animaatioiden kanssa, hyödyntämällä keinotekoisen älykkyyden voimaa yksinkertaistaakseen monimutkaisia tehtäviä ja tekevät luovista pyrkimyksistä kaikkien saataville.
Applen Mgie antaa sinun muokata valokuvia luonnollisilla kielikomennoilla, KeyFramer animoi taidetta tekstikehotteilla
Yhteistyössä Kalifornian yliopiston Santa Barbaran tutkijoiden kanssa Apple on ottanut käyttöön MGIE: n, AI -mallin, joka on suunniteltu mullistamaan kuvan muokkaamista luonnollisten kielten komentojen kautta. Valjastamalla multimodaalisia suuria kielimalleja (MLLMS), MGIE tulkitsee käyttäjän ohjeita tarkan pikselin tason manipulaatioiden suorittamiseksi tarjoamalla saumattoman ja intuitiivisen muokkauskokemuksen. Perusmuutoksista, kuten rajaamisesta ja koon muuttamisesta edistyneisiin modifikaatioihin, kuten objektien manipulointiin ja värien parantamiseen, MGIE antaa käyttäjille mahdollisuuden vapauttaa luovuutensa ilman erikoistuneiden ohjelmistojen tarvetta.
Applen KeyFramer edustaa merkittävää etenemistä animaatiosuunnittelussa, jonka avulla käyttäjät voivat animoida staattisia kuvia yksinkertaisilla tekstikehotteilla. Suurten kielimallien (LLMS) avulla KeyFramer luo CSS -animaatiokoodin staattisista SVG -kuvista ja tekstimuodoista, poistaen monimutkaisten animaatio -ohjelmistojen tarpeen. KeyFramerilla on vielä prototyyppivaiheessaan valtava potentiaali tulevaisuuden integrointiin Applen tuoteekosysteemiin, mikä tasoittaa tietä intuitiiviselle ja saatavilla olevalle animaation luomiselle. PaperistajulkaistuApple -tutkijat:
KeyFramer on suuri kielimalli (LLM) -voiman animaation prototyyppikalvo, joka voi luoda animaatioita staattisista kuvista (SVG). Käyttäjät voivat iteroida suunnittelussaan lisäämällä kehotteita ja muokkaamalla LLM: ää tuottamaa CSS-animaatiokoodia tai ominaisuuksia. Lisäksi käyttäjät voivat pyytää suunnitteluvariantteja tukemaan heidän ideoita ja etsintää.
Vaikka yhden laukauksen kehottavat rajapinnat ovat yleisiä kaupallisissa tekstistä-kuva-järjestelmissä, kuten Dall · e ja Midjourney, väitämme, että animaatiot vaativat monimutkaisempia joukon käyttäjän näkökohtia, kuten ajoitusta ja koordinaatiota, joita on vaikea määritellä kokonaan yhdessä kehotuksessa-siten vaihtoehtoisia lähestymistapoja, jotka mahdollistavat käyttäjille iteratiivisesti rakentamisen ja puhdistavat tuotetut mallit, voivat olla erityisesti animaatioita.
Liittyvät:Applen 'Project Mulberry' voi tuoda AI-käyttöisen terveysseurannan iOS 19: lle ja Watchos
Yhdistimme nousevat suunnitteluperiaatteet kielipohjaiseen kehotukseen suunnittelun esineiden ja LLM: ien koodien sukupolven ominaisuuksien rakentamiseen uuden AI-käyttöisen animaatiotyökalun nimeltä KeyFramer. KeyFramerilla käyttäjät voivat luoda animoituja kuvia staattisista 2D -kuvista luonnollisen kielen kehotuksen avulla. GPT-4 3: n avulla KeyFramer luo CSS-animaatiokoodin animoidakseen syöttö skaalautuvan vektorigrafiikan (SVG).
Sekä Mgie että KeyFramer kuvaavat luovuuden ja demokratisoivan suunnittelun vaikutusmahdollisuuksien kysyntää. Hyödyntämällä AI: tä ja luonnollista kielenkäsittelyä nämä työkalut hajottavat pääsyn esteet tekemällä edistyneitä editointi- ja animaatioominaisuuksia kaikkien taitotasojen käyttäjien saataville.
Lue lisää:
- Apple to Dever Generative AI -ominaisuudet Sirille osoitteessa WWDC 2024 - Gurman - Classic E