Apple kompaniýasy ulanyjynyň adyndan programmalar bilen aragatnaşyk saklap bilýän we olaryň interfeýslerine düşünýän, enjamyň özünde (lokal ýagdaýda) işleýän AI-agentini döretmegiň üstünde işleýär. Gürrüň 3 milliard parametrli Ferret-UI Lite algoritmi barada barýar. Synaglarda bu model ölçegi boýunça özünden 24 esse uly bolan AI modelleriniň görkezijilerine deň gelýär ýa-da olardan hem ýokary netijeleri görkezýär.
2023-nji ýylyň dekabrynda dokuz gözlegçiden ybarat topar «FERRET: Refer and Ground Anything Anywhere at Any Granularity» atly ylmy işi çap etdi. Olar bu işde dürli görnüşli maglumatlar bilen öwrenip bilýän hem-de tebigy dilde berlen salgylanmalary suratyň anyk bölekleri bilen baglanyşdyryp düşünmäge ukyply multimodal dil modelini beýan etdiler.
Şondan bäri Apple Ferret atly AI-modeller maşgalasyny giňeldip, birnäçe makala çap etdi.
Bu maşgalanyň düzümine Ferretv2, Ferret-UI we Ferret-UI 2 algoritmleri hem girýär
Şeýlelikde, Ferret-UI modelleri başlangyç FERRET mümkinçiliklerini ep-esli giňeltdi we gözlegçileriň adatça multimodal uly dil modelleriniň (MLLM) kemçiligi diýip atlandyrýan meselesini çözmek üçin öwredildi.
Apple tarapyndan çap edilen makalada şeýle beýan edilýär:
“MLLM ulgamyndaky soňky üstünlikler üns çekmäge mynasypdyr, emma umumy maksatly bu MLLM modelleri köplenç ulanyjy interfeýslerini (UI) netijeli tanap bilmeýär we olar bilen täsirleşip bilmeýär. Bu makalada biz Ferret-UI atly täze MLLM-i hödürleýäris. Ol mobil UI-lary tanamagyň hilini ýokarlandyrmak üçin niýetlenendir we refering (salgylamak), grounding (baglanyşdyrmak) hem-de pikir ýöretmek mümkinçilikleri bilen üpjün edilendir.
Mobil interfeýsleriň adatça tebigy suratlara garanyňda has uzyn aspekt gatnaşygy bolup, has ownuk elementleri (mysal üçin, ikonkalary we teksti) öz içine alýandygyny nazara alyp, biz has ýokary jikme-jiklik gazanmak üçin Ferret modeliniň üstüne ‘islege görä rugsat beriş ukyby’ (arbitrary resolution) goşduk we kämilleşdirilen wizual aýratynlyklary ulanýarys.”
Birnäçe gün öň Apple Ferret-UI modeller maşgalasyny giňeltdi hem-de «Ferret-UI Lite: Lessons from Building Small On-Device GUI Agents» atly barlagyň netijelerini çap etdi.
Ferret-UI 13 milliard parametrli LLM-niň esasynda gurlup, mobil interfeýslere we kesgitli rugsat beriş ukyby bolan skrinşotlara düşünmäge gönükdirilendir. Ferret-UI 2 bolsa ulgamy birnäçe platformany goldamak we has ýokary rugsat beriş ukybyny kabul etmek üçin giňeltdi. Şol bir wagtda Ferret-UI Lite enjamyň özünde (lokal ýagdaýda) işlemek üçin niýetlenen has ýeňil model bolup durýar. Muňa garamazdan, ol ep-esli uly GUI-agentler bilen deňeşdirilende hem bäsdeşlige ukyplylygyny saklaýar.
Gözlegçileriň neşirinde şeýle diýilýär: “GUI-agentleri döretmegiň häzirki usullarynyň köpüsi […] uly fundamental modellere gönükdirilýär”. Bu bolsa “uly serwer modelleriniň güýçli pikir ýöretmek we meýilleşdirmek mümkinçilikleriniň şeýle agent ulgamlaryna grafiki interfeýsler boýunça dürli nawigasiýa meselelerinde täsirli netijelere ýetmäge mümkinçilik berýändigi” bilen düşündirilýär.
Bellenip geçilişine görä, agentleriň grafiki interfeýsler bilen täsirleşmegine degişli köp sanly meseläni optimizasiýa etmek üçin dürli çemeleşmeleri ulanýan hem köp komponentli, hem-de doly (end-to-end) GUI ulgamlarynda uly ösüş gazanyldy. Bu meseleleriň hataryna pes derejeli GUI elementleri bilen baglanyşdyrma, ekranda bolup geçýän zatlara düşünmek, köp ädimli meýilleşdirmek we öz-özüňi seljermek ýaly ugurlar girýär. Şeýle-de bolsa, olaryň ählisi diýen ýaly ölçegi boýunça örän uly we hasaplaýyş serişdelerine ýokary talap goýýandygy sebäpli, lokal enjamda netijeli işlemegi üçin amatly däl.
Bu meseläni çözmek maksady bilen, Apple-iň gözlegçileri Ferret-UI Lite modelini işläp taýýarladylar. Ol 3 milliard parametrli Ferret-UI görnüşi bolup, “birnäçe möhüm komponentleri ulanmak” arkaly hem-de kiçi LLM-leri öwretmekde gazanylan tejribelerden peýdalanyp döredildi.
Ferret-UI Lite birnäçe GUI ugurlaryndan alnan hakyky we sintetiki okuw maglumatlaryny, dinamiki kadrlaşdyrma usullaryny hem-de grafiki interfeýsiň anyk segmentlerine düşünmegiň hilini ýokarlandyrmak üçin optimizasiýany ulanýar. Şeýle hem gözegçilikli inçe sazlama (supervised fine-tuning) we güýçlendirme arkaly öwreniş (reinforcement learning) usullary peýdalanyldy. Netijede, parametrleriniň sany boýunça özünden 24 esse uly bolan bäsdeş GUI-agent modellerine diýen ýaly deň gelýän ýa-da hatda olardan hem ýokary netije görkezýän AI modeli döredildi.
Täze girizilen çözgütleriň arasynda modeliň okuw üçin maglumatlary özi döretmegi aýratyn gyzykly görünýär. Apple-iň gözlegçileri hakyky GUI-interfeýsler bilen göni täsirleşip, köp mukdarda sintetiki mysallary awtomatiki döretmek üçin multiagent ulgamy döretdiler. Okuw maksatnamasyna laýyklykda işleýän tabşyryk generatory barha çylşyrymly maksatlary goýýar, meýilleşdiriş agenti bolsa olara ýetmegiň prosesini birnäçe tapgyra bölýär. Baglanyşdyrma (binding) agenti ekranda ähli tapgyrlary yzygiderli ýerine ýetirýär, baha beriji agent bolsa netijeleri barlaýar.
Bu önümçülik zynjyry okuw ulgamyna hakyky täsirleşmeleriň näbelliligini, şol sanda säwlikleri we garaşylmadyk ýagdaýlary özleşdirmegi mümkin edýär. Eger model diňe hakyky, el bilen belliklenen maglumatlar boýunça öwredilse, muny amala aşyrmak has kyn bolardy. Gyzykly tarapy, Ferret-UI we Ferret-UI 2 iOS we beýleki Apple platformalarynyň interfeýs suratlarynda öwredilen bolsa, Ferret-UI Lite Android interfeýs suratlary, web-ýüzlenmeler we iş stoly GUI-lary boýunça öwredildi.
Synaglar görkezmegine görä, Ferret-UI Lite gysgajyk möhletli pes derejeli wezipeleri gowy ýerine ýetirýär, ýöne has çylşyrymly köp ädimli wezipelerde şonça-da üstünlikli däl. Bu bolsa, enjamyň özünde işlemegi mümkin bolan has kiçi modeliň ululygy bilen baglanyşykly çäklendirmeleri nazara alanyňda, kadaly kompromis hasaplanýar. Şeýle-de bolsa, Ferret-UI Lite ýokary derejede maglumat gizlinligini üpjün edip bilýär, sebäbi algoritm lokal ýagdaýda işleýär we maglumatlary Apple serwerlerine ibermeýär.
Apple kompaniýasy Ferret-UI Lite atly 3 milliard parametrli, gysga göwrümli emeli aň modeliniň barlagyny çap etdi. Model maglumatlary serwerlere ibermezden, göni enjamyň özünde işlemäge niýetlenendir. Şeýle-de ol programmalaryň interfeýsindäki elementleri tanamaga we ulanyjynyň adyndan hereketleri ýerine ýetirmäge ukyplydyr.
Barlaga görä, Ferret-UI Lite özünden takmynan 24 esse uly bolan beýleki grafiki interfeýs agentleri bilen bäsleşip bilýär, hatda olardan has oňat netije-de görkezýär. Taslamanyň esasy aýratynlygy onuň lokal işlemek ukybyndadyr. Ähli hasaplamalar enjamyň özünde ýerine ýetirilýär, bu bolsa ulanyjy maglumatlarynyň bulut ammarlaryna ibermek zerurlygyny aradan aýyrýar.
Modele düwmeleri, maglumat girizilýän meýdançalary we belgileri tanamak öwredilen. Ol bölümleriň arasynda geçmek we tekst girizmek ýaly yzygiderli işleri hem ýerine ýetirip bilýär.
Öwretmek üçin köp agentli ulgam tarapyndan döredilen sintetiki maglumatlar ulanyldy. Bu ulgamda dürli agentler tabşyryklary emele getirdiler, ýerine ýetirdiler we netijäni barladylar.
Ferret-UI Lite bir-iki ýumuşly gysga tabşyryklary has oňat başarýar, ýöne çylşyrymly, köp buýrukly işleri ýerine ýetirmekde entek kynçylyk çekýär. Alymlar muny lokal model üçin garaşylan çäklendirme diýip atlandyrýarlar. Modeliň iOS däl-de, Android, web hyzmatlary we kompýuter programmalarynyň interfeýslerinde tälim alandygyny-da bellemek gerek.
Häzirlikçe bu taslama diňe barlag häsiýetine eýe bolup, heniz resmi taýdan yglan edilenok. Şeýle-de bolsa, bu barlag Apple-yň geljekdäki EA funksiýalarynyň haýsy ugra gönükdiriljekdigini görkezýär.
