Kaj je DALL·E 2?

DALL·E 2 je program umetne inteligence, ki ustvarja slike iz besedilnih opisov, je v četrtek razkrilo raziskovalno podjetje OpenAI.

Uporablja različico transformatorskega modela GPT-3 z 12 milijardami parametrov za razlago vnosov naravnega jezika in ustvarjanje ustreznih slik. Na primer, ko je dobil stavek 'črno-bela fotografija majhnega psa,' je ustvaril pravilno upodobljeno črno-belo sliko čivave.

Sistem ni popoln - včasih ustvari slike, ki jih je težko interpretirati, ali pa so popolnoma napačne. Na primer, ko so ga prosili, naj ustvari sliko 'osebe, ki se vozi z monociklom po vrvi nad vulkanom,' je ustvaril (lepo, po mojem mnenju), a popolnoma nepovezano sliko sončnega zahoda nad vodo z majhno figuro v ospredju .

Kljub temu so rezultati impresivni in OpenAI pravi, da je DALL·E 2 'prvi model AI, ki ustvarja slike iz besedilnih opisov, ki se lahko kosajo s kakovostjo profesionalnih človeških umetnikov.'

Sistem je bil usposobljen za nabor podatkov parov besedilo-slika, sestavljen iz približno 1,3 milijona slik in napisov iz interneta, ki jih je postrgal in kuriral OpenAI. Podatki o usposabljanju so bili nato uporabljeni za natančno nastavitev modela GPT-3, tako da je lahko ustvaril slike iz besedilnih opisov.

OpenAI pravi, da lahko sistem ustvari 'visokokakovostne' slike iz širokega nabora besedilnih opisov, vključno s tistimi, ki so abstraktni, konkretni ali celo poetični.

Poleg primera Chihuahua drugi primeri slik, ki jih je ustvaril DALL·E 2, vključujejo pravilno upodobljen portret Adolfa Hitlerja, podobo zmaja iz zelenjave in podobo Mona Lise iz toasta.

Sistem lahko ustvari tudi slike stvari, ki ne obstajajo, kot je 'floof' (izmišljena žival) ali 'tulpa' (miselna oblika).

Na splošno so rezultati impresivni in OpenAI pravi, da sistem 'odpira nove možnosti za ustvarjanje slik iz besedilnih opisov.'

IZ E 2 to CLIP-sistem pretvori besedilne informacije v vizualne informacije. To je paradigma kodirnika-dekoderja, kar pomeni, da se vneseno besedilo najprej pretvori v strojni vnos, nato ga obdela sistem in na koncu posreduje dekoderju, ki pretvori kodirane podatke v sliko.

Kaj je DALL·E 2?

To je zadnja generacija DALL·E, generativnega jezikovnega modela, ki uporablja fraze za ustvarjanje popolnoma novih vizualnih učinkov. DALL E 2 je ogromen 3,5 V model, čeprav ni tako masiven kot GPT-3. Zanimivo je, da je tudi lažji od predhodnika (12B). Kar zadeva poravnavo opisov in fotorealizem, je DALL·E 2 kljub večji velikosti 70 % boljši od DALL·E 2.

DALL.E 2- razlaga za začetnike s primeri

Natančneje, DALL·E 2 je hierarhični pogojni model sinteze slike besedila, ki združuje globoko učenje za obdelavo naravnega jezika z računalniškim vidom za ustvarjanje slik. Njegov cilj je usposobiti dva modela, vadbeni komplet pa sestavljajo seznanjene slike in opisi. Prvi je a priori, ki ga je mogoče, glede na pisni naslov, usposobiti za ustvarjanje vdelane slike CLIP. Nato imamo dekoder, ki lahko pri vdelavi slike CLIP (in napisa, če je prisoten) ustvari naučeno sliko.

DALLE 2 se usposablja z uporabo stotin milijonov fotografij z napisi iz interneta in nekatere od teh slik se odstranijo in premešajo, da se spremeni tisto, kar se model nauči. Pridobi več možnosti slike CLIP priloge in ga nato uporabite dekoder pojdite skozi vsakega od njih. Nato ustvari zanimivo mešanico vseh teh informacij glede na vnos uporabnika.

Primer DALL JE 2

Igrajmo se igro, da bomo razumeli DALL·E. Razčlenimo ga na naslednje tri korake.

1. Predstavljajte si mavrice, oblake in samoroge, ki letijo na modrem nebu. Predstavljajte si, kakšna bi lahko bila slika v vaši domišljiji. Ljudje so najbližje popolni analogiji vdelane slike in slika, ki se je pravkar pojavila v vaši glavi, je odličen primer tega. O končnem izdelku lahko le ugibate, imate pa dobro predstavo o tem, kaj bi moralo vsebovati. Apriorni model popelje bralca od besed v frazi do prizora v njegovi domišljiji.
2. Zdaj lahko začnete risati. UnCLIP pretvori vašo mentalno sliko v pravo skico. Zdaj lahko natančno poustvariš drug lik iz istega opisa, z enakimi osnovnimi statistikami, vendar s popolnoma novim vizualnim slogom. DALL·E 2 lahko ustvari tudi edinstvene slike iz obstoječe slike, vdelane na ta način.
3. Bodite pozorni na skico, ki ste jo naredili. To se zgodi, ko skicirate opis 'samorog sredi oblakov in mavrica se dviga proti nebu'. Zdaj preglejte sliko in besedilo, da ugotovite, kaj najbolje ponazarja drugo (sonce, hišo, drevo itd.) in kaj najbolje ponazarja predmet, slog, barve itd. Kar naredi CLIP, je kodiranje značilnosti. besedilo in slike.

Zdaj, ko vemo, kaj je DALL-E, pojdimo na naslednji razdelek in razumemo njegove funkcije.

Nasvet: Kako ustvariti realistične slike s storitvijo DALL-E-2 AI

Vsebuje DALL E 2

Spodaj so specifikacije DALL·E 2.

1. Različice
2. Barvanje
3. Besedilne razlike

Pogovorimo se o njih podrobno.

kako narediti vizitke v word 2010

1] Različice

DALL·E 2 presega preprosto prevajanje stavka v sliko. OpenAI lahko eksperimentira z generativnim postopkom in ustvari različne rezultate za določen podpis zahvaljujoč robustnim vdelavam CLIP. Kar CLIP 'vidi' v svojih 'zavesti', je tisto, kar se mu zdi pomembno pri vnosu (ostane enako za vse slike) in kar je mogoče zamenjati (kar se spremeni za različne slike). Kadarkoli je to mogoče, bo DALL·E 2 ohranil tako 'pomembne informacije ... kot estetske vidike'.

2] Barvanje

DALL·E 2 lahko spremeni obstoječe fotografije s samodejnim polnjenjem. V naslednjem primeru je leva slika izvirna slika, sredinska in desna fotografija pa imata element narisan na različnih mestih. DALL·E 2 ustreza dodatnemu elementu k slogu slike. Prav tako posodobi teksture in odseve, da odražajo nov element.

Preberi : Kaj lahko storite s ChatGPT

3] Razlike v besedilu

DALL·E 2 pretvori slike z uporabo razlik v besedilu. DALL·E 2 ima tudi napredne zmožnosti interpolacije, ki vam omogočajo spreminjanje predmetov. Enemu uporabniku Twitterja je uspelo 'razveljaviti' svoj iPhone. twitter.com da preverim.

Če so vam te funkcije všeč, morate le iti na openai.com in se nato registriraj. Za prijavo lahko ustvarite nov račun ali uporabite obstoječe Microsoftove ali Google račune. Ko to storite, boste prejeli nekaj brezplačnih kreditov, če jih želite več, jih morate plačati.

To je nekaj funkcij DALL·E 2, ima veliko odličnih primerov uporabe, vendar je vedno priporočljivo, da se ne zanašate preveč na orodja AI. Navsezadnje niso nič drugega kot orodje, ki se uporablja za opravljanje dela, nikoli ne morejo nadomestiti človekove čustvene inteligence.

Preberite tudi: Najboljše aplikacije, programska oprema in spletna mesta Deepfake.