@laacz tvītu arhīvs

Jaunie AI supermodeļi principā izslēdz no šīs konkrētās spēles FOSS un sabiedrību kā tādu, jo modeļu apmācībai nepieciešamais compute apjoms ir nežēlīgi liels un dārgs.

@laacz A kas tur liels un dārgs -> iepūt viņiem visu Britānijas bibliotēku + pieslēdz pie tekošajām ziņām...

@Jnis25912490 @laacz Tā rēķināšana prasa bišķi vairāk nekā mājās ar savu datoru izdarīsi, lielu modeļu apmācībai nospiest 'run' prasa miljonus vērtu serverlaiku; atceros, zviedru kolēģi, kuriem paši dzelži Berzelius klasterī bija nosponsorēti, minēja milzīgas summas elektrībā vien.

@PPaikens @laacz Par dzelžiem nestrīdos... es te par texta inputu... p.s. nav man īsti liela nojēga, kā apmāca šitos AI, es knapi bāzes neironu tīkla principus saprotu

@laacz Manuprāt līdz galam nē; jo pirmkārt to lielo sākotnējo rēķināšanu var izmantot vairākkārt dažādiem mērķiem, tālāk pieregulējot; otrkārt, attīstās veidi kā to pašu izdarīt ar ne tik lieliem modeļiem; treškārt, sabiedrība var atļauties daudz compute, ja grib; piemēram CERN datiem.

@PPaikens Nu, es teiktu, ka patlaban veiksmi nosaka naudas apjoms. LLaMA neražīgā noplūde un Alpaca ir forši, bet ar to ir par maz, lai tiktu pie tā līmeņa, kurš patlaban ir GPT-4. Pagaidām gan temps ir pārāk straujš, lai prognozētu gadu uz priekšu, tāpēc varbūt pat nevajag sākt :D

@laacz Ha, savukārt pētījumu finansējuma režīms ir tāds, ka obligāti jāprognozē gadu vai vairāk uz priekšu, pat ja tas nav reāli iespējams zinātnes pārmaiņu tempa dēļ; lai uz 2023. gada beigām atnāktu kāds dārgs priekšmets, tā mērķim un vajadzībai jābūt noformulētai 2021. gadā.

@PPaikens Bet es ne par pētījumiem. Akadēmiskais ir viens no četriem lielajiem segmentiem. Pārējie trīs ir komerciālais (patlaban lielie vaļi, kas IMHO tā arī paliks tuvākos gadus). OSS community, kur vispār nekas patlaban nav iespējams, kā tikai drupaču paņemšana. Un beigās militārais.

@PPaikens Bet brīdis ir episks, jo LLM modeļi un to hibrīdi negaidīti ir vistuvākais universālam un vispārīgam mašīnmācīšanās modelim ar ļoti plašu un dažādu pielietojumu.

@laacz OK, tā ir cita community; bet manuprāt ar "drupaču paņemšanu" var veidot vērtīgas lietas; ik pa brīdim kādu lielo modeli tomēr nopublicē, un to tālāk pielāgot var arī ar OSS community resursiem; kā arī var būvēt produktus pa virsu modeļu API, un vēlāk nomainīt API uz citu modeli.

@PPaikens Protams, bet tas neatceļ to, ka realitātē šajā jomā vēl ilgi dominēs nauda.

@PPaikens On a tangential note par API. GPT4 spraudņu koncepts ir kaut kas kosmisks. Es par realizāciju. Iiebaro swagger doc, pasaki pāris atslēgas vārdus un viss. Integrāciju (API izsaukumus, to secību, parametrus, vērtības, datu modeļus, rezultātu interpretāciju) izpīpē pats modelis.

@laacz @PPaikens Un tur, kur dominē nauda, pastāv milzīgs risks ar “race to the bottom”, lai paspētu kaut ko publicēt, jo ir aizdomas ka konkurents tevi apsteigs. :(

@laacz Jā, es jūtos absolūti no kājām nogāzts ar pašreiz notiekošo šai jomā, lai to visu korekti saprastu, vajadzētu paņemt pāris nedēļas prom no visa pārējā. Šī spraudņu darbība radikāli maina visus argumentus par to, ko tāds modelis var/nevar izdarīt, vai ko darīt ir viegli un grūti.

@laacz Smieklīgi sanāca ar OpenAI, kas kļuva par ClosedAI, bet vismaz Mozilla iestājas par pareizo virzienu. https://blog.mozilla.org/en/mozilla/introducing-mozilla-ai-investing-in-trustworthy-ai/

@laacz Ja ļoti gribētu, vai nevarētu komūna savākties distribūtētiem aprēķiniem a la Folding@Home, SETI@Home? Nezinu cik labi šis modelis piemērots AI treniņam.

@ChrisHillfield Tam vajag ļoti svarīgu un skaidru mērķi.