Qaabka GGUF: Waa maxay, sida ay u shaqeyso, iyo sida loogu isticmaalo moodooyinka AI

Ma dhawaanahan maqashay faylasha GGUF oo ma isweydiisay waxa ay yihiin iyo waxa loo isticmaalo ? Adduunka sirdoonka macmalka ah ayaa si isdaba joog ah u socda, qaababka faylalkana waxay door muhiim ah ka ciyaaraan socodsiinta moodooyinka awoodda badan, labadaba xirfadlayaasha iyo kuwa xiiseeya ee doonaya inay ka faa'iidaystaan ​​​​qalabkooda maxalliga ah.

Maqaalkan ballaaran, waxaan si qoto dheer u baari doonnaa wax kasta oo la xiriira qaabka GGUF: waxa uu yahay, waxa loo sameeyay, sida uu uga kacaan ku sameeyay isticmaalka moodooyinka luqadda waaweyn (LLM), faa'iidooyinkiisa qaababkii hore, heerarka tirinta, meesha laga soo dejisto moodooyinka, iyo sida loogu daro goobaha iyo codsiyada kala duwan ee AI.

Waa maxay faylka GGUF dhab ahaantii?

GGUF (Foomka Guud ee GGML) waa fayl laba-geesood ah oo si gaar ah loogu talagalay in si dhakhso leh oo hufan loogu kaydiyo, loo keydiyo, loona raro moodooyinka sirdoonka macmalka ah ee waaweyn, gaar ahaan LLM ( Moodooyinka Luqadda sida GPT, Llama, Gemma, Grok, iyo kuwa kale) iyo moodooyinka RAG (Jiilka La Kordhiyay ee Dib-u-soo-celinta) . GGUF waxay ka soo baxday waayo-aragnimo hore oo ay u lahayd GGML, iyadoo la qabsanaysa baahiyaha hadda jira ee horumariyayaasha, shirkadaha, iyo bulshada: iswaafajinta, hufnaanta, dabacsanaanta, iyo fududaynta isdhexgalka goobaha iyo codsiyada kala duwan.

GGUF waxaa loo sameeyay sidii badal dabiici ah oo loogu talagalay qaabka GGML , taasoo keentay horumar la taaban karo oo ka jawaabaya baahida sii kordheysa ee qalabka aan takhasuska lahayn, iyadoo la hubinayo in moodooyinka waaweyn ee AI loo isticmaali karo oo keliya ma aha server-yada awoodda badan ama daruuraha, laakiin xitaa kombiyuutarrada desktop-ka, laptop-yada iyo xitaa aaladaha mobilada qaarkood oo leh kheyraad xaddidan.

Kala duwanaanshaha iyo faa'iidooyinka marka la barbar dhigo GGML iyo qaabab kale

In kasta oo GGML ay horeyba u ahayd horumar la taaban karo marka loo eego moodooyinka dhaqameed, GGUF waxay kor u qaadaysaa heerka xitaa dhinacyo muhiim ah. Aan eegno kala duwanaanshaha ugu muhiimsan iyo horumarinta:

• Ballaarinta iyo mustaqbal ammaan ah: GGUF waxaa loogu talagalay inay ku darto shaqooyin cusub, ikhtiyaarrada metadata, ama xuduudaha ay moodooyinka mustaqbalka u baahan karaan, iyada oo aan lumin iswaafajinta gadaal. Tani waxay u sahlaysaa horumarinta cusub iyo aaladaha jira labadaba inay ka faa'iidaystaan ​​​​horumarinta iyada oo aan loo baahnayn in wax walba dib loo sameeyo laga bilaabo bilowga.
• Dabacsanaanta qaab-dhismeedka: Waxay kuu ogolaaneysaa inaad si hufan u abaabusho xogta moodeelka, adigoo la qabsanaya qaab-dhismeedka iyo qaab-dhismeedka kala duwan, gaar ahaan moodooyinka AI ee soo baxaya ama kuwa tijaabada ah.
• Wada shaqayn iyo waafaqid: GGUF waxaa loogu talagalay in si habsami leh loogu isticmaalo deegaanno kala duwan: laga bilaabo barnaamijyada Python ama R ilaa matoorada sida llama.cpp, Ollama, AnythingLLM ama LM Studio. Tani waxay u oggolaanaysaa dadka isticmaala inay wadaagaan, soo dejiyaan, oo soo dejiyaan moodooyinka iyaga oo aan ka walwalin is-waafaqla'aanta ama isbeddellada socodka shaqada..
• Cabbirka la hagaajiyay iyo rarista degdegga ah: Iyada oo ay ugu wacan tahay heerarka kala duwan ee cadaadiska iyo tirada, faylasha GGUF waxay ka dhigaan moodooyinka kuwo aad u fudud oo dhakhso badan in la raro. kaydinta xusuusta iyo dardargelinta go'aan qaadashada (jawaabta moodeelka waqtiga-dhabta ah).
• Taageero firfircoon iyo bulsho: Iyada oo ah heer furan oo si joogto ah u kobcaya, waxaa jira bulsho weyn oo ka qayb qaadanaysa horumarinta qaabka iyo abuurista iyo tijaabinta noocyada cusub, la hagaajiyay, iyo kuwa la diiwaangeliyey ee moodooyinka.

Maxaa loo isticmaalaa GGUF maxaase kuu ogolaanaya inaad sameyso?

Qaabka GGUF waxaa ugu horreyn loo isticmaalaa in lagu kaydiyo moodooyinka AI qaab yar, la qaadi karo, oo aad waxtar u leh, oo si gaar ah loogu talagalay fulinta maxalliga ah. Tani waxay kuu ogolaaneysaa inaad soo dejiso moodooyinka hore loo tababaray, kuwa casriga ah (sida GPT, Gemma, Llama, Grok, Mistral, iwm.) oo aad ku socodsiiso kombiyuutarkaaga, adigoon ku tiirsanayn adeegyada daruuraha, adigoon xogta shakhsi ahaaneed u dirin shirkado kale, iyo jawaabo waqtiga-dhabta ah oo loogu talagalay baahiyahaaga.

Awooddani waxay si gaar ah faa'iido ugu leedahay:

• Soosaarayaasha codsiyada AI chatbot, kaaliyayaasha shaqsiga ah, matoorada raadinta caqliga leh, ama hawlaha qoraalka iyo falanqaynta ee horumarsan.
• Xirfadlayaasha u baahan asturnaanta gebi ahaanba geeddi-socodkeeda AI, iyadoo la tixgelinayo dabeecadda maxalliga ah ee moodooyinka GGUF.
• Dadka doonaya inay hagaajiyaan kharashyada iyo kheyraadka, iyagoo ka fogaanaya lacagaha soo noqnoqda ee API-yada dibadda ama adeegyada khadka tooska ah.
• Shirkadaha iyo shakhsiyaadka xiiseynaya inay tijaabiyaan, hagaajiyaan, ama la shaqeeyaan moodooyinka AI ee offline-ka ah.
• Deegaannada waxbarashada iyo cilmi-baarista halkaas oo la wadaago moodooyinka iyo hagaajinta u dhexeeya isticmaalayaasha goobaha kala duwan ay tahay mudnaanta koowaad.

Xaggee ayuu GGUF ka yimid sideese uga duwan yahay qaababka sida PyTorch, Safetensors, GPTQ, iwm.?

Qoyska qaababka moodooyinka AI aad bay u kala duwan yihiin , laakiin mid walba wuxuu ka jawaabaa baahiyo iyo xaddidaadyo kala duwan:

• PyTorch (.pth, .pt, laba-geesood, ammaan-ilaaliyeyaal…): Waxaa badanaa loo isticmaalaa inta lagu jiro tababarka ama hagaajinta jawiga horumarinta, badanaana waxay u baahan yihiin qalab awood leh oo GPU-ka keliya ah. Intaa waxaa dheer, waxay ku jiraan tiro badan oo metadata iyo kood ah, taas oo kordhisa cabbirkooda iyo kakanaanta..
• GGML: Waxaa loo sameeyay jawaab celin si loo fududeeyo soo-jeedinta maxalliga ah, laakiin si dhakhso ah ayaa GGUF uga gudubtay iyada oo ay ugu wacan tahay horumarka kor ku xusan.
• GGUF: Waxaa loo sameeyay si loo daboolo la qaadi karo, iswaafajinta iyo suurtagalnimada cusboonaysiinta fudud oo ay weheliso qorshayaasha tirinta casriga ah.
• GPTQ, AWQ, EXL2, QLoRA, LoRA…: uu hababka tirinta iyo hagaajinta Hababkani waxay u oggolaanayaan hoos u dhac weyn oo ku yimaada cabbirka moodeelka, iyagoo hagaajinaya saxnaanta isla markaana si wanaagsan u isticmaalaya agabyada sida GPU-yada ama CPU-yada. Moodooyin badan oo GGUF ah ayaa lagu qiyaasaa iyadoo la adeegsanayo hababkan.

Marka la soo koobo, qaabka GGUF waxaa loogu talagalay ma aha oo kaliya soo jeedin maxalli ah, laakiin sidoo kale in la wadaago moodooyinka diyaar u ah in loo isticmaalo qalab iyo goobo kala duwan, iyadoon loo eegin nidaamka hawlgalka ama qaab-dhismeedka.

Tirinta GGUF: Maxay ka dhigan tahay sideese u saameysaa qaabka?

Tan iyo markii ay soo baxeen moodooyinka LLM, fikradda tirinta ayaa noqotay mid muhiim ah: waxay ku lug leedahay yareynta saxnaanta (qaybo) ee "miisaanka" gudaha ee qaabka AI inta lagu jiro kaydinta ama dhoofinta, beddelka, tusaale ahaan, laga bilaabo qaababka 16-bit (FP16) ama xitaa 32-bit ilaa matalaad aad u fudud oo ah 8, 5, 4, ama xitaa 2 bits. Tani waxay ka dhigan tahay in qaabku uu qaato meel aad u yar, u baahan yahay RAM yar, oo uu si dhakhso badan u xisaabiyo , beddelka luminta saxnaanta yar ee jawaabaha.

Qaabka GGUF wuxuu u qaataa dabacsanaan xad dhaaf ah muujinta ugu sarreysa: waxa ku jira "tirakoobyo" heer badan ah waxayna la jaanqaadi kartaa labada hab ee dhaqameed (si loo gaaro tayada ugu badan) iyo heerarka aadka loo cadaadiyay ee lagu hagaajiyay qalabka xaddidan.

Nidaamyada ugu muhiimsan ee tirinta ee GGUF

• Q4_K_M (ama noocyada Q4…): Isu dheelitirka ugu habboon ee inta badan isticmaalayaasha: waxay qaadataa meel yar, waa dhakhso, tayaduna waxay ku dhowdahay inay la mid tahay qaabkii asalka ahaa ee hawlaha maalinlaha ah (Su'aalo iyo Jawaabo, barnaamijin, qoraal, soo koobid, iwm.). Kani badanaa waa qiimaha caadiga ah ee lagu taliyay.
• Q5_K_M: Waxaa lagugula talinayaa marka aad raadinayso tayo wanaagsan oo qalabkaagu uu leeyahay VRAM ku filan (xusuus garaaf ah). Waxaad arki doontaa natiijooyin wanaagsan oo ku saabsan hawlaha caqliga badan, xisaabta horumarsan, iyo jawiyada adag.
• Q8_0: Matalaadda ugu tayada sarreysa ee iswaafajin karta (ku dhawaad ​​​​isku mid ah asalka aan la cadaadin). Kaliya waxaa lagula talinayaa haddii aad maarayn karto cabbirka faylka weyn oo aad haysato RAM/VRAM badan.
• IQ4_XS: Qaabka ugu yar uguna fudud ee wali la isticmaali karo. Ku habboon tijaabinta, tijaabinta degdegga ah, ama aaladaha leh VRAM aad u yar.
• Iska ilaali Q3aad iyo Q2aad haddii aad raadinayso tayo: Lumitaanka saxnaanta badanaa aad ayaa loo dareemaa waxayna waxtar u leeyihiin oo keliya jawi aad u xaddidan ama hawlo gaar ah.

Heerarka cabbirka: isbarbardhigga iyo xaaladaha isticmaalka

Heerkee la dooranayaa? Halkani waa meesha qaabka GGUF uu ku iftiimayo kala duwanaanshihiisa. Iyada oo ku xidhan baahiyahaaga, waxaad dooran kartaa:

• Tirinta 2-bit: Cabbirka ugu yar, cadaadiska ugu badanWaxaa loo isticmaalaa aaladaha aadka u xaddidan, laakiin luminta tayada ayaa noqon karta mid sare.
• Tirinta 4-bit: Cadaadis iyo xawaare aad u sarreeya iyada oo aan wax khasaare ah oo tayo ah loo geysan hawlaha caadiga ah. Xalka la doorbiday ee horumariyayaal badan.
• Tirinta 8-bit: Ku dhawaad ​​​​saaxiibtinimo ugu badan iyo cadaadis yar marka loo eego asalka aan la farsamayn.

Iyadoo tan lagu darayo habab kala duwan (GPTQ, AWQ, QLoRA, iwm.), GGUF waxay u oggolaanaysaa isla qaabkaas in la isticmaalo "dhadhanno" kala duwan, iyadoo la qabsanaysa kiis kasta oo isticmaal ah iyo qalabka la heli karo.

Faa'iidooyinkee wax ku ool ah ayay GGUF siisaa isticmaalayaasha iyo shirkadaha?

• Dallacaadda aadka u degdegga badan: Iyada oo ay ugu wacan tahay qaabkeeda laba-geesoodka ah iyo qaab-dhismeedkeeda hufan, waxaa suurtagal ah in lagu shubo moodooyinka ilbiriqsiyo gudahood, taas oo muhiim u ah codsiyada iyo adeegyada xasaasiga ah ee waqtiga ama si joogto ah loo cusbooneysiiyo.
• La qaadi karo iyo mideyn: Wadaagista, koobiyeynta, iyo rakibidda moodooyinka GGUF waa mid fudud sida dhaqaajinta hal fayl, iyada oo aan lahayn ku tiirsanaan ama dhibaatooyin nooc ah.
• Wada-noolaansho: Waxay ku dhex milmaysaa qaabab kala duwan oo kala duwan (Python, R, CUDA, iwm.) iyo codsiyo (laga bilaabo Ollama ilaa AnythingLLM, LM Studio, ama chatbots gaar ah).
• Isticmaalka tamarta oo la dhimay: Moodooyinka la qiyaasay ee GGUF, iyagoo u baahan ilo yar, waxay gacan ka geystaan ​​​​yareynta biilasha korontada iyo raadadka kaarboonka ee qalabka, iyagoo sidoo kale fududeynaya isticmaalkooda aaladaha geeska ama xalalka moobaylka.
• Cusboonaysiinta iyo ballaarinta: Ku darista noocyo cusub oo xog ama xuduudo ah waa wax aan fududayn, sidaa darteed GGUF waxay u diyaarsan tahay horumarka mustaqbalka ee qaybta AI.

Halkee ayaan ka soo dejisan karaa faylasha GGUF sideese ugu dari karaa mashaariicdayda?

Isha ugu weyn uguna caansan ee moodooyinka GGUF waa qaybta Faylasha GGUF ee ku taal Wejiga Hugging . Halkaas waxaad ku shaandhayn kartaa, ka raadin kartaa, oo kala soo bixi kartaa kumanaan moodallo LLM oo bilaash ah iyo noocyo RAG ah oo la cabbiray oo heerar kala duwan ah, oo diyaar u ah isticmaalka maxalliga ah.

Marka laga soo tago Hugging Face, barnaamijyada qaar ayaa kuu oggolaanaya inaad soo dejiso moodooyinka is-dhexgalka iyaga u gaar ah ama xitaa aad ka wareejiso oo aad ka maamusho tusmooyinka maxalliga ah, adigoo dhoofinaya ama u soo dejinaya abka kale (sida LM Studio, AnythingLLM ama Chatbox).

Sida loo soo dejiyo faylka GGUF ee la soo dejiyay Ollama

• Soo dejiso qaabka GGUF: Dooro heerka cabbirka ee ugu habboon qalabkaaga oo ku kaydi fayl maxalli ah.
• Samee fayl qaabaysan: Isla buugga, samee fayl (tusaale ahaan, "Modelfile") oo leh sadar FROM ah oo tilmaamaya magaca dhabta ah ee faylkaaga .gguf. Tani waxay u sheegaysaa Ollama meesha laga soo raro qaabka.
• Ku shub qaabka Ollama: Ku socodsii amarka ku habboon si aad u soo dejiso qaabka adoo isticmaalaya ikhtiyaarka "-f Modelfile". Tusaale: ollama create myModelName -f Modelfile
• Ku socodsii qaabka: Hadda waxaad isticmaali kartaa qaabka maxalliga ah sidii aad uga soo dejisay maktabadda caadiga ah.

Hawshani aad bay ugu egtahay LM Studio, AnythingLLM, iyo codsiyada kale ee la jaan qaadi kara GGUF.

Dhanka kale, haddii noocyada rasmiga ah ee qaabka ay horeyba uga jireen maktabadda goobtaada, way ka sii fududdahay in la isticmaalo amarka "jiid" ee u dhigma, laakiin soo dejinta gacanta ayaa muhiim ah haddii aad u baahan tahay kala duwanaansho cabbir gaar ah, qaab aan caadi ahayn, ama haddii aad doorbidayso xakameyn weyn oo ku saabsan meesha iyo sida qaabka loo kaydiyo.

Barnaamijyada la jaan qaadaya iyo isticmaalka ugu muhiimsan ee faylasha GGUF

Nidaamka deegaanka GGUF hadda aad buu u ballaaran yahay. Fiiri mashaariicda ugu muhiimsan iyo kiisaska isticmaalka:

• Ollama: Waxay kuu ogolaaneysaa inaad soo dejiso moodooyinka dibadda, aad abuurto kuwaaga, oo aad tijaabiso dejimaha tirada iyo qaababka gaarka ah.
• LM StudioWaxay ka kooban tahay is-dhexgal sawireed oo aad u fudud si loo raadiyo, loo soo dejiyo loona rakibo moodooyinka GGUF, iyo sidoo kale loo dhoofiyo abka kale ama loogala tashado API-ga maxalliga ah.
• Wax kastaLLM y JanXalalka desktop-ka iyo ganacsiga ee loo adeegsado chatbots-ka AI ee maxalliga ah, iyadoo taageero buuxda loo hayo moodooyinka GGUF iyo qaababka hore loo tababaray.
• 3DIMLIQaamuusyada farsamada iyo dukaamada bixiya moodallo ama agab gaar ah oo ku jira GGUF, oo leh talooyin ku saabsan sida si habboon loogu diiwaangeliyo noocyada iyo iswaafajinta kiis kasta.
• Mashaariicda isha furan iyo jawiga cilmi-baarista, taas oo ay ugu wacan tahay isdhexgalka Python iyo R.

Intaa waxaa dheer, dhowr goobood oo xirfad iyo ganacsi ah ayaa bilaabaya inay bixiyaan qaabab diyaarsan oo GGUF ah si loo dedejiyo dejinta iyo isku-darka xalalka AI ee horumarsan.

Daryeel iyo talooyin wax ku ool ah marka aad la shaqeyneyso faylasha GGUF

• Had iyo jeer hubi in ay iswaafaqsan yihiin: Kahor intaadan soo dejin faylka GGUF, hubi inuu la jaan qaadayo codsigaaga (nooca gaarka ah ee Ollama, LM Studio, iwm.) iyo qalabkaaga. Haddii qaabku u baahan yahay nooc gaar ah oo matoor ah, ka hubi qoraalkaas bogga internetka ee isha..
• Si taxaddar leh u magacow oo u habeey faylasha: Maadaama hababka qaar ay yihiin kuwo xasaasi u ah kiisaska, isticmaal magacyo fudud oo cad si aad uga fogaato khaladaadka rarista.
• Kala soocidda kooxdaada la qabso: In kasta oo aad soo dejisan karto moodooyinka Q8 ama Q5, haddii VRAM-kaagu xaddidan yahay waxaa ka wanaagsan inaad doorato Q4 ama IQ4, sidaas darteedna aad iska ilaaliso xannibaadaha kheyraadka.
• Habbee qaababka haddii aad abuurto chatbots: Marka la soo dejinayo moodooyinka sheekaysiga, waxaa laga yaabaa inay lagama maarmaan noqoto in la hagaajiyo qaab-dhismeedka degdegga ah ee ku jira qaabka ama dejimaha si loo gaaro jawaabo deggan oo dabiici ah.
• Feejignaan loo hayo shatiyada iyo xuquuqda: Qaar ka mid ah moodooyinka GGUF waxay ku daraan xayiraadaha isticmaalka. Fiiri bogga soo dejinta si aad u aragto inaad u isticmaali karto ujeeddooyin ganacsi ama dib-u-qaybin..

Talooyin ku saabsan doorashada qaabka saxda ah iyo tirada

Sida khubarada iyo isticmaalayaashu ay xaqiijiyeen, waxaa jira hage wax ku ool ah oo cad oo la raaco:

• Hawlaha maalinlaha ah (sheekaysiga, barnaamijyada, qorista, weydiimaha guud): dooro Q4_K_M. Waa "meesha ugu macaan" ee tayada/waxqabadka waxaana taageera ku dhawaad ​​​​dhammaan qaab-dhismeedka.
• Shaqo sare ama xisaab adag: Haddii aad haysato xasuus ku filan, u cusbooneysii Q5_K_M, laakiin caadi ahaan farqiga tayada ayaa lagu dareemi doonaa oo keliya hawlaha adag.
• Qalabka ugu sareeya? Haddii aad maalgashatay GPU weyn oo aad xiisaynayso daacadnimada ugu badan, waxaad isku dayi kartaa Q8_0, laakiin boodka Q5 had iyo jeer ma aha mid la aqbali karo marka laga reebo cabbirka ama cilmi-baarista.
• Ilo xaddidan? Isku day IQ4_XS si aad u tijaabiso, noocyada degdega ah, ama marka aad runtii ku yar tahay RAM/VRAM.
• Ka fogow Q3/Q2 jawiga dhabta ah ama xirfadeed, maadaama ay "dhibaato" ku tahay isku-xirnaanta iyo saxnaanta natiijooyinka.

Sida GGUF uga qayb qaadato horumarinta iyo mustaqbalka AI-ga maxalliga ah iyo kan furan

Qaabka GGUF ma aha oo kaliya inuu dedejiyo qaadashada AI ee aaladaha shaqsiga ah, laakiin sidoo kale wuxuu dimuqraadiyad ka dhigayaa helitaanka moodooyinka horumarsan . Waxay u suurtogelinaysaa dad badan iyo ganacsiyo inay:

• Soo arag horumarka ugu dambeeyay ee AI-ga wax soo saarka ah adiga oo aan ku tiirsanayn shirkadaha waaweyn
• Habbee moodooyinka, ku dar sifooyin, oo la wadaag noocyada gaarka ah bulshooyinka ama kooxaha cilmi-baarista.
• Tijaabi qaab-dhismeedyo kala duwan, cabbirro, iyo cabbirro la beddeli karo iyada oo aan laga baqeyn is-waafaqla'aan ama xannibaado

GGUF waxay sidoo kale kobcisaa horumarinta qalab cusub, turjumaanno, iyo matoorro, waxayna hubisaa in horumarka hadda jira uu sii ahaan doono mid waxtar leh sannado soo socda iyada oo ay ugu wacan tahay habkeeda ballaaran. Is-dhexgalka iyo fududaynta diiwaangelinta, isku-darka, iyo dhoofinta ayaa ka dhigaya qaab caadi ah oo ku jira kaydka, dukaamada, qaamuuska farsamada, iyo mashaariicda bulshada ee furan.

Caqabadaha iyo fursadaha noocee ah ayaa hor yaal GGUF?

In kasta oo qaabka GGUF uu horeyba u ahaa halbeeg, bulshadu waxay sii waddaa inay ka dooddo oo ay ku darto horumarin sida:

• Hagaajinta qaab-dhismeedka qalabka cusub (SoC-yada moobaylka, aaladaha geeska, FPGA-yada, iwm.)
• Horumarinta beddelayaal wanaagsan oo u dhexeeya qaab-dhismeedka, tusaale ahaan laga bilaabo PyTorch ama TensorFlow si toos ah ilaa GGUF
• Otomaatik weyn oo lagu hagaajinayo qaababka iyo tilmaamaha loogu talagalay moodooyinka ama hawlaha gaarka ah ee sheekaysiga
• Isdhexgal horumarsan oo leh qalabka cabbiraadda, horumarinta nidaamyada dukumentiyada, iyo helitaanka moodeelka

Dhammaan tani waxay la macno tahay in soo dejinta, habaynta, iyo isku-darka moodooyinka AI ee horumarsan ay noqon doonaan kuwo si isa soo taraysa u fudud, dhakhso badan, oo la awoodi karo , ha ahaato SMEs, cilmi-baarayaal, xiiseeyayaal, ama goobo waaweyn.

Qaabka GGUF wuxuu isu aqoonsaday inuu yahay xalka ugu wanaagsan ee lagu maamulo sirdoonka macmalka ah ee maxalliga ah, ee la xakameeyey, isagoo si fiican u isticmaalaya kheyraadka kombiyuutarkaaga, ha ahaado mashiin casri ah ama mid aad u hooseeya, si fududna u dhex gelinaya moodooyinka LLM ee ugu dambeeyay ee suuqa yaal. Iyada oo la heli karo kheyraad badan, casharro, iyo barnaamijyo iswaafaqsan, waxay qaadataa daqiiqado oo keliya in la helo, la soo dejiyo, lana bilaabo isticmaalka moodooyinka diyaarsan, iyadoo la wanaajinayo waqtiga iyo kharashyada labadaba iyadoo lagu raaxeysanayo asturnaanta ugu badan iyo ballaarinta. GGUF waa furaha furfurnaanta, dimuqraadiyadda, iyo mustaqbalka sirdoonka macmalka ah ee wax ku oolka ah.

Waa maxay llama.cpp: Tilmaam dhammaystiran oo ku saabsan tignoolajiyada kacaan ku samaynaysa AI-ga maxalliga ah