ജനറേറ്റീവ് AI ആപ്ലിക്കേഷനുകൾ നിർമ്മിക്കാൻ വലുതായ ഭാഷാ മോഡലുകൾ ഉപയോഗിക്കുന്നത് പുതിയ വെല്ലുവിളികൾക്ക് ഇടയാക്കുന്നു. നിർണായകമായ ഒരു പ്രശ്നം മോഡൽ ഒരു ഉപയോക്താവിന്റെ അഭ്യർത്ഥനയ്ക്കുള്ള ഉള്ളടക്കത്തിൽ സൃഷ്ടിക്കുന്ന പ്രതികരണത്തിന്റെ ഗുണമേന്മ (തെറ്റ് ഇല്ലാത്തതും പ്രസക്തവുമായിരിക്കുന്നതും) ഉറപ്പാക്കലാണ്. മുമ്പത്തെ പാഠങ്ങളിൽ, ഞങ്ങൾ പ്രോംപ്റ്റ് എൻജിനീയറിംഗ് പോലുള്ള സാങ്കേതികവിദ്യകളും റിട്രീവൽ-ഓഗ്മെന്റഡ് ജനറേഷൻ പോലുള്ളതിനും ഈ പ്രശ്നം പരിഹരിക്കാൻ ശ്രമിക്കുന്നത് നിലവിലുള്ള മോഡലിന് നൽകിയ പ്രോംപ്റ്റ് ഇൻപുട്ട് മാറ്റം വരുത്തുന്നതിലൂടെ ആണെന്ന് ചര്‍ച ചെയ്‌തു.
ഇന്നത്തെ പാഠത്തിൽ, ഞങ്ങൾ മൂന്നാമത്തെ സാങ്കേതികവിദ്യ ഫൈൻ-ട്യൂണിംഗ് എന്നതിനെ കുറിച്ച് ചര്‍ച ചെയ്യും, അത് മോഡലിനെ തന്നെ കൂട്ടം ഡാറ്റ ഉപയോഗിച്ച് പുന പരിശീലിപ്പിക്കുന്നതിന് ശ്രമിക്കുന്നു. വിശദാംശങ്ങളിൽ നമുക്ക് ദ്രുതഗതിയിൽ കടക്കാം.
ഈ പാഠം മുൻകൂട്ടി പരിശീലിച്ച ഭാഷാ മോഡലുകളുടെ ഫൈൻ-ട്യൂണിംഗ് ആശയം പരിചയപ്പെടുകയും, ഈ സമീപനത്തിന്റെ ഗുണങ്ങളും വെല്ലുവിളികളും പരിശോധിക്കുകയും, നിങ്ങളുടെ ജനറേറ്റീവ് AI മോഡലുകളുടെ പ്രകടനം മെച്ചപ്പെടുത്താൻ എപ്പോൾ എങ്ങനെ ഫൈൻ-ട്യൂൺ ചെയ്യാമെന്ന് മാർഗ്ഗനിർദ്ദേശം നൽകുകയും ചെയ്യുന്നു.
ഈ പാഠം കഴിഞ്ഞാൽ, നിങ്ങൾക്ക് താഴെപ്പറയുന്ന ചോദ്യങ്ങൾക്ക് മറുപടി നൽകാൻ കഴിയണം:
- ഭാഷാ മോഡലുകൾക്ക് ഫൈൻ-ട്യൂണിംഗ് എന്താണ്?
- എപ്പോൾ, എന്തുകൊണ്ട്, ഫൈൻ-ട്യൂണിംഗ് പ്രയോജനമാണ്?
- എൻറെ മുൻകൂട്ടി പരിശീലിച്ച മോഡൽ എങ്ങനെ ഫൈൻ-ട്യൂൺ ചെയ്യാം?
- ഫൈൻ-ട്യൂണിംഗിന്റെ പരിമിതികൾ എന്തെല്ലാം?
തയ്യാറായോ? തുടങ്ങാം.
നമുക്ക് ഇതിന് മുമ്പ് നമ്മൾ എന്തെല്ലാം പഠിക്കാനിരിക്കുന്നതിന്റെ ഒരു പൊതു ചിത്രം ആവശ്യമുണ്ടോ? ഫൈൻ-ട്യൂണിംഗിന്റെ പ്രാഥമിക ആശയങ്ങളും പ്രേരണയും മനസിലാക്കി, പ്രക്രിയയും മികച്ച രീതികളും വിശദമാക്കുന്ന ഈ ചാരായരൂപ പഠന മാർഗ്ഗനിർദ്ദേശം പരിശോധിക്കുക. സ്വയം പഠന യാത്രക്ക് സഹായകരമായ അധിക ലിങ്കുകൾക്കായി Resources പേജ് സന്ദർശിക്കാൻ മറക്കരുത്!
നിർവചനപ്രകാരം, വലിയ ഭാഷാ മോഡലുകൾ വെബ്ബ് ഉൾപ്പെടെ വൈവിധ്യമാർന്ന ഉറവിടങ്ങളിൽ നിന്നുള്ള ടെക്സ്റ്റ് വലിയ തോതിൽ ഉപയോഗിച്ച് മുൻകൂട്ടി പരിശീലിപ്പിച്ചിട്ടുണ്ട്. മുമ്പ് പഠിച്ചതുപോലെ, ഉപയോക്താവിന്റെ ചോദ്യങ്ങൾക്ക് ("പ്രോംപ്റ്റുകൾക്ക്") മോഡൽ നൽകുന്ന പ്രതികരണങ്ങളുടെ ഗുണനിലവാരം മെച്ചപ്പെടുത്താൻ ഞങ്ങൾക്കായി പ്രോംപ്റ്റ് എൻജിനീയറിംഗ് കൂടാതെ റിട്രീവൽ-ഓഗ്മെന്റഡ് ജനറേഷൻ പോലുള്ള സാങ്കേതിക വിദ്യകൾ ആവശ്യമാണ്.
ഒരു ജനപ്രിയ പ്രോംപ്റ്റ്-എൻജിനീയറിംഗ് സാങ്കേതികവിദ്യ മോഡൽ പ്രതീക്ഷിക്കുന്ന പ്രതികരണം എന്തെന്ന് കൂടുതല്‍ മാർഗ്ഗനിർദ്ദേശം നൽകി പ്രതികരണത്തിൽ സഫലം വരുത്തുന്നതാണ്; അതിന് നിര്ദ്ദശങ്ങൾ (പ്രത്യക്ഷ മാർഗ്ഗനിർദ്ദേശം) നൽകുന്നതോ അഥവാ അൽപ സംഖ്യയ്ക്കുള്ള ഉദാഹരണങ്ങൾ നൽകുന്നതോ (അപ്രത്യക്ഷ മാർഗ്ഗനിർദ്ദേശം) ആയി നടക്കാം. ഇത് ഫ്യൂ-ഷോട്ട് ലേണിംഗ് എന്നറിയപ്പെടുന്നു, എന്നാൽ ഇതിന് രണ്ട് പരിമിതികളുണ്ട്:
- മോഡൽ ടോക്കൺ പരിധികൾ നൽകാവുന്ന ഉദാഹരണങ്ങളുടെ എണ്ണം നിയന്ത്രിക്കുകയും, ഫലപ്രാപ്തി കുറയ്ക്കുകയും ചെയ്യുന്നു.
- മോഡൽ ടോക്കൺ ചെലവുകൾ പ്രോംപ്റ്റിൽ എക്കാലത്തും ഉദാഹരണങ്ങള്‍ ചേർക്കുന്നത് മത്സരാഭിലാഷമായും പരിമിതമായും വയ്ക്കുന്നു.
ഫൈൻ-ട്യൂണിംഗ് മെഷീൻ ലേണിംഗ് സംവിധാനങ്ങളിൽ സാധാരണമായ പ്രക്രിയയാണ്, അത് മുൻകൂട്ടി പരിശീലിച്ച മോഡൽ എടുത്ത്, പുതിയ ഡാറ്റ ഉപയോഗിച്ച് പ്രത്യേക ജോലി മെച്ചപ്പെടുത്താന്‍ പുനപരിശീലനം നടത്തുകയാണ്. ഭാഷാ മോഡലുകളുടെ സങ്കടത്തിൽ, നാം മുൻകൂട്ടി പരിശീലിച്ച മോഡലിനെ ഒരു പ്രത്യേക ജോലി അല്ലെങ്കിൽ പ്രയോഗ മേഖലക്ക് വേണ്ടി സൂക്ഷ്മമായി കണ്ടെത്തിയ ഉദാഹരണങ്ങളുടെ സമുച്ചയത്തോടെ ഫൈൻ-ട്യൂൺ ചെയ്യാൻ കഴിയും, അതുവഴി ഒരു കസ്റ്റം മോഡൽ ഉണ്ടാകും, ഒപ്പം അത് ആ പ്രത്യേക ജോലി അല്ലെങ്കിൽ മേഖലയ്ക്ക് കൂടുതൽ കൃത്യവും പ്രസക്തവുമായവയാണ്. ഫൈൻ-ട്യൂണിംഗിന്റെ പൂർണപ്രയോജനം ഫ്യൂ-ഷോട്ട് ലേണിംഗിന് ആവശ്യമായ ഉദാഹരണങ്ങളുടെ എണ്ണം കുറയ്ക്കുന്നുണ്ടെന്നതാണ് - ഇത് ടോക്കൺ ഉപയോഗവും ബന്ധപ്പെട്ട ചെലവുകളും കുറയ്ക്കുന്നു.
ഈ പശ്ചാത്തലത്തിൽ, ഫൈൻ-ട്യൂണിംഗിന് നൽകുന്ന അർത്ഥം പരിശീലിത ഫൈൻ-ട്യൂണിംഗ് എന്നും അറിയപ്പെടുന്നു, ഇവിടെ പുനപരിശീലനം പുതിയ ഡാറ്റ ചേർക്കുന്നതിലൂടെ ഉണ്ടാകുന്നു, അത് തുടക്കത്തിലുള്ള പരിശീലന ഡാറ്റാസെറ്റിൽ ഉൾപ്പെട്ടിട്ടില്ലാത്തതാണ്. ഇത് വിരുദ്ധമായ രീതിയായ അൺസൂപർവൈസ്ഡ് ഫൈൻ-ട്യൂണിംഗിൽ നിന്ന് വ്യത്യസ്തമാണ്, അത് യഥാർത്ഥ ഡാറ്റയിൽ പുനരശീലനം നടത്തുന്നു എന്നാൽ വ്യത്യസ്ത ഹൈപ്പർപാരാമീറ്ററുകൾ ഉപയോഗിച്ച്.
ശ്രദ്ധിക്കേണ്ട പ്രധാന കാര്യം ഫൈൻ-ട്യൂണിംഗ് ഒരു കഴിവുള്ള സമയത്ത് ചെയ്താല്‍ മാത്രമേ പ്രതീക്ഷിച്ചതുപോലെ ഫലം കാണിക്കൂ എന്നതാണ്. തെറ്റായ രീതിയിൽ ചെയ്താൽ, ഇത് പ്രതീക്ഷിക്കപ്പെട്ട മെച്ചവും നൽകാതെ മാറി നിങ്ങളുടെ ലക്ഷ്യമിട്ട മേഖലയിൽ മോഡലിന്റെ പ്രകടനം കൃത്യമായി താഴെയാക്കാൻ പോലും ഇടയുണ്ട്.
അത്കാരണത്താൽ, ഭാഷാ മോഡലുകൾ ഫൈൻ-ട്യൂൺ ചെയ്യുന്നത് "എന്തുകൊണ്ട്" ആണ് ചെയ്യേണ്ടത്, "എപ്പോൾ" ആരംഭിക്കണമെന്നത് മനസിലാക്കേണ്ടതാണ് മുൻപ് എങ്ങനെ ചെയ്യും എന്ന പഠനം തുടങ്ങുന്നതിന് മുമ്പ്. നിങ്ങൾക്കും ചോദ്യങ്ങൾ ചോദിച്ച് തുടങ്ങാം:
- ഉപയോഗകേസ്: ഫൈൻ-ട്യൂണിംഗിന് നിങ്ങളുടെ ഉപയോഗകേസ് എന്താണ്? നിലവിലുള്ള മുൻകൂട്ടി പരിശീലിച്ച മോഡലിന്റെ ഏത് വിഷയം മെച്ചപ്പെടുത്തണമെന്ന് നിങ്ങൾ ആഗ്രഹിക്കുന്നു?
- പകരം എടുക്കാനാവുന്നവ: നിങ്ങളുടെ ലക്ഷ്യ ഫലങ്ങൾ ഉളവാക്കാൻ മറ്റ് സാങ്കേതിക വിദ്യകൾ നിങ്ങൾ പരീക്ഷിച്ചിട്ടുണ്ടോ? അവ ഒരു അടിസ്ഥാനരേഖയായി ഉപയോഗിക്കുക.
- പ്രോംപ്റ്റ് എൻജിനീയറിംഗ്: സാധ്യതയുള്ള പ്രത്യക്ഷ തന്ത്രങ്ങൾ പരീക്ഷിക്കുക, പ്രോംപ്റ്റ് പ്രതികരണങ്ങളുടെ ഉദാഹരണങ്ങൾ ഉപയോഗിച്ച്. പ്രതികരണങ്ങളുടെ ഗുണമേനം അളക്കുക.
- റിട്രീവൽ ഓഗ്മെന്റഡ് ജനറേഷൻ: നിങ്ങളുടെ ഡാറ്റയിൽ തിരച്ചിൽ ചെയ്ത വിവരങ്ങൾ ഉപയോഗിച്ച് പ്രോംപ്റ്റുകൾ പൂരിപ്പിക്കുക. പ്രതികരണങ്ങളുടെ ഗുണമേനം അളക്കുക.
- ചെലവുകൾ: ഫൈൻ-ട്യൂണിംഗിന്റെ ചെലവുകൾ നിങ്ങൾ തിരിച്ചറിഞ്ഞിട്ടുണ്ടോ?
- ട്യൂണബിലിറ്റി - മുൻകൂട്ടി പരിശീലിച്ച മോഡൽ ഫൈൻ-ട്യൂണിംഗ് ചെയ്യാൻ ലഭ്യമാണോ?
- പരിശ്രമം - പരിശീലന ഡാറ്റ ഒരുക്കൽ, മോഡൽ മൂല്യനിർണയം, ഉണർത്തൽ.
- കംപ്യൂട്ട് - ഫൈൻ-ട്യൂണിംഗ് ജോലികൾ നടത്താനും ഫൈൻ-ട്യൂൺ ചെയ്ത മോഡൽ വിനിയോഗിക്കാനും.
- ഡാറ്റ - ഫൈൻ-ട്യൂണിംഗിനായി മതിയായ ഗുണമേന്മയുള്ള ഉദാഹരണങ്ങൾ ലഭ്യമാകുന്നതും.
- ഗുണങ്ങൾ: ഫൈൻ-ട്യൂണിംഗിന്റെ ഗുണങ്ങൾ നിങ്ങൾ സ്ഥിരീകരിച്ചോ?
- ഗുണമേനം - ഫൈൻ-ട്യൂൺ ചെയ്ത മോഡൽ അടിസ്ഥാനരേഖയെക്കാൾ മികച്ചതാണോ?
- ചെലവ് - പ്രോംപ്റ്റുകൾ ലളിതമാക്കിയതിലൂടെ ടോക്കൺ ഉപയോഗം കുറയ്ക്കുന്നുണ്ടോ?
- വിപുലീകരണമുള്ളതായിട്ടുണ്ടോ - പുതിയ മേഖലകളിൽ അടിസ്ഥാന മോഡൽ വീണ്ടും ഉപയോഗിക്കാനാകുമോ?
ഈ ചോദ്യങ്ങൾക്കുള്ള ഉത്തരങ്ങൾ നൽകുമ്പോൾ, ഫൈൻ-ട്യൂണിംഗ് നിങ്ങളുടെ ഉപയോഗകേസിന് ശരിയായ സമീപനമാണോ എന്ന് നിങ്ങൾ തീരുമാനിക്കാം. ആശയവിനിമയം ചെയ്താൽ ഗുണങ്ങൾ ചെലവുകളെക്കാൾ കൂടുതലായിരിക്കണം. നീക്കം ചെയ്യാൻ തീരുമാനിച്ചാൽ, മുൻകൂട്ടി പരിശീലിച്ച മോഡൽ എങ്ങനെ ഫൈൻ-ട്യൂൺ ചെയ്യാമോയന്ന് ചിന്തിക്കാം.
തീരുമാനമെടുക്കൽ പ്രക്രിയയെ കുറിച്ച് കൂടുതൽ വിവരങ്ങൾ ആവശ്യമുണ്ടോ? To fine-tune or not to fine-tune കാണുക
ഒരു മുൻകൂട്ടി പരിശീലിച്ച മോഡൽ ഫൈൻ-ട്യൂൺ ചെയ്യാൻ, നിങ്ങളുടെ കയ്യിൽ ഇത് ഉണ്ടായിരിക്കണം:
- ഫൈൻ-ട്യൂണിംഗിന് ഒരു മുൻകൂട്ടി പരിശീലിച്ച മോഡൽ
- ഫൈൻ-ട്യൂണിംഗിന് ഉപയോഗിക്കാനുള്ള ഡാറ്റാസെറ്റ്
- ഫൈൻ-ട്യൂണിംഗ് ജോബ് നടത്താൻ ഒരു പരിശീലന പരിസരം
- ഫൈൻ-ട്യൂൺ ചെയ്ത മോഡൽ വിനിയോഗിക്കാൻ ഒരു ഹോസ്റ്റിംഗ് പരിസരം
Microsoft Foundry ഇന്ന് Azure-യിൽ കസ്റ്റം മോഡലുകൾ ഫൈൻ-ട്യൂൺ ചെയ്യാനും വിനിയോഗിക്കാനും നിയന്ത്രിക്കാനുമുള്ള സ്ഥലമാണ് (മുമ്പ് Azure OpenAI Studio, Azure AI Studio എന്നിരുന്നവയെ ഇവുൾപ്പെടെ സംയോജിപ്പിക്കുന്നു). ജോബ് തുടങ്ങുന്നതിന് മുന്‍പ്, ഫൗണ്ട്രിയൻ നിങ്ങൾക്ക് നല്‍കുന്ന തിരഞ്ഞെടുപ്പുകളും പ്ലാറ്റ്‌ഫോം നിർദ്ദേശിക്കുന്ന മികച്ച പ്രയോഗങ്ങളും മനസ്സിലാക്കുന്നത് ഉപകാരപ്രദമാണ്. സാങ്കേതികപരമായി, ഫൗണ്ട്രി LoRA (low-rank adaptation) ഉപയോഗിക്കുന്നതാണ് മോഡലുകൾ ഫൈൻ-ട്യൂൺ ചെയ്യുന്നതിന്, ഇത് ഓരോ ഭാരവും പുനപരിശീലിക്കുന്നതുേക്കാൾ പരിശീലനം വേഗവും ചെലവ് കുറവുമാക്കുന്നതാണ്.
ഫൗണ്ട്രി മൂന്ന് ഫൈൻ-ട്യൂണിംഗ് സാങ്കേതികവിദ്യകൾ പിന്തുണയ്ക്കുന്നു. വ്യാപകമായ സാഹചര്യങ്ങൾക്കായി SFT (Supervised Fine-Tuning) ഉപയോഗിച്ച് തുടങ്ങുക.
| സാങ്കേതിക വിദ്യ | എന്താണ് ചെയ്യുന്നതു? | എപ്പോൾ ഉപയോഗിക്കുക? |
|---|---|---|
| Supervised Fine-Tuning (SFT) | ഇൻപുട്ട്/ ഔട്ട്പുട്ട് ഉദാഹരണങ്ങൾക്കു മേൽ പരിശീലനം നടത്തുന്നു, അതിലൂടെ മോഡൽ നിങ്ങൾക്ക് ആവശ്യമായ മറുപടികൾ നിർമ്മിക്കാൻ പഠിക്കുന്നു. | അനേകം ജോലികൾക്ക് പ്രാത്യക്ഷമാണ്: മേഖലാ പ്രത്യേകത, ജോലി പ്രകടനം, ശൈലി, ഉപദേശം പാലിക്കൽ, ഭാഷാ ഒത്തുചേരൽ. |
| Direct Preference Optimization (DPO) | പ്രിയപ്പെട്ട vs. പ്രിയപ്പെട്ടല്ലാത്ത പ്രതികരണങ്ങളിലൂടെയുള്ള പഠനത്തിലൂടെ മനുഷ്യൻ്റെ ഇഷ്ടങ്ങൾക്കൊന്ന് പൊരുത്തപ്പെടാൻ സഹായിക്കുന്നു. | പ്രതികരണ ഗുണമേനം, സുരക്ഷ, ഒത്തുചേരൽ മെച്ചപ്പെടുത്തുന്നതിന്, താരതമ്യമായ പ്രതികരണങ്ങൾ ലഭ്യമായപ്പോൾ. |
| Reinforcement Fine-Tuning (RFT) | ഗ്രേഡർമാരുടെ പുരസ്കാര സൂചനകൾ ഉപയോഗിച്ച് സങ്കീർണ സ്വഭാവങ്ങൾ റീഇൻഫോഴ്‌സ്‌മെന്റ് ലേണിംഗിലൂടെ മെച്ചപ്പെടുത്തുന്നു. | ഉദ്ദേശ്യനിർണയമുള്ള ഗണിതം, രാസശാസ്ത്രം, ഭൗതികം തുടങ്ങിയ കഠിനപ്രശ്നങ്ങൾക്കായി. കൂടുതലായ ML വിദ്യാപരിചയം ആവശ്യമാണ്. |
ഫൗണ്ട്രി നിങ്ങൾക്ക് ട്രെയിനിംഗ് എവിടെയും എങ്ങനെ നടത്താം എന്നു തിരഞ്ഞെടുക്കാനാകും:
- സ്റ്റാൻഡേർഡ് - നിങ്ങളുടെ റിസอร์സിന്റെ പ്രദേശത്ത് പരിശീലനം നടത്തുകയും ഡാറ്റ സ്ഥലം ഉറപ്പാക്കുകയും ചെയ്യും. ഡാറ്റ ഒരു പ്രത്യേക പ്രദേശത്തു മാത്രം സഞ്ചരിക്കണം എങ്കിൽ ഉപയോഗിക്കുക.
- ഗ്ലോബൽ - നിങ്ങളുടെ പ്രദേശത്തെ കഴിഞ്ഞ് ശേഷിയുള്ള മേഖല ഉപയോഗിച്ച് ചെലവ് കുറയും, വേഗം കൂടും (ഡാറ്റയും ഭാരം പരിശീലന പ്രദേശത്തേക്ക് പകർത്തും). ഡാറ്റ സ്ഥലം നിർബന്ധമല്ലെങ്കിൽ നല്ല ഡീഫോൾട്ട്.
- ഡെവലപ്പർ - ഏറ്റവും കുറഞ്ഞ ചെലവ്, പശ്ചാത്തല ശേഷി ഉപയോഗിച്ച് ലോ latency അല്ലാതെ (ജോലികൾ മുമ്പ് തടയാനോ പുനരാരംഭിക്കാനോ കഴിയും). പരീക്ഷണങ്ങൾക്കായി അനുയോജ്യം.
ഫൈൻ-ട്യൂൺ ചെയ്യാൻ കഴിയുന്ന മോഡലുകളിൽ OpenAI യുടെ gpt-4o-mini, gpt-4o, gpt-4.1, gpt-4.1-mini, gpt-4.1-nano (SFT; 4o/4.1 കുടുംബത്തിന് DPO-ഉം സപ്പോർട്ട് ഉണ്ട്), രേഖാമൂലം മോഡലുകൾ o4-mini , gpt-5 (RFT), കൂടാതെ തുറസ്സായ സോഴ്സ് മോഡലുകൾ Ministral-3B, Qwen-32B, Llama-3.3-70B-Instruct, gpt-oss-20b (Foundry റിസോഴ്സുകളിൽ SFT). ഇപ്പോൾ ലഭ്യമായ Fine-tuning models list പരിശോധിക്കുക.
ഫൗണ്ട്രി രണ്ട് രീതി വാഗ്ദാനം ചെയ്യുന്നു: സെർവറില്ലാത്ത (ഉപയോഗം അടിസ്ഥാനമാക്കി ചാർജ്, GPU ക്വോട്ട ഇല്ലാതെ, OpenAI & തിരഞ്ഞെടച്ച മോഡലുകൾ) & നടത്തുന്ന കംപ്യൂട്ട് (വിപുലമായ മോഡലുകൾക്കായി Azure Machine Learning വഴി സ്വന്തം VM) . എല്ലാവർക്കും ആദ്യം സെർവറില്ലാത്ത സംഗതി പരീക്ഷിക്കാൻ ഉപദേശിക്കുന്നു.
- അടിസ്ഥാനരേഖ ആദ്യം. പ്രോംപ്റ്റ് എൻജിനീയറിംഗ്, RAG ഉപയോഗിച്ച് അടിസ്ഥാനരേഖ മോഡൽ അളക്കുക, പിന്നീട് ഫൈൻ-ട്യൂൺ ചെയ്യുക, ഗുണനിലവ് തെളിയിക്കുക.
- ചെറിയതിൽ തുടങ്ങിയ ശേഷം വ്യാപിപ്പിക്കുക. 50-100 ഉയർന്ന ഗുണമേന്മയുള്ള ഉദാഹരണങ്ങളോടെ അരികിലാണ് തുടങ്ങുക, തുടർന്ന് 500+ൽ വർധിപ്പിക്കുക. ഗുണമേനം അളക്കുക - കുറഞ്ഞ ഗുണമേന്മയുള്ള ഉദാഹരണങ്ങൾ നീക്കംചെയ്യുക.
- ഡാറ്റ ശരിയായി ഫോർമാറ്റ് ചെയ്യുക. പരിശീലനവും വിലയിരുത്തലും JSONL, UTF-8 BOM-ഉം ഉള്ളത്, 512 MB ഇടയിൽ, ചാറ്റ്-കമ്പ്ലീഷൻസ് മെസേജ് ഫോർമാറ്റ് ഉപയോഗിച്ചു വേണം. ഒവർക്കുട്ടിംഗ് ഒഴിവാക്കാൻ കൂടാതെ വിലയിരുത്തൽ ഫയൽ ഉൾപ്പെടുത്തുക.
- പരിശീലന സിസ്റ്റം പ്രോംപ്റ്റ് ഇന്ഫറൻസിൽ ഉപയോഗിക്കുക. പരിശീലന സമയത്ത് ഉപയോഗിച്ചിരിക്കുന്നത് പോലെ തന്നെ സിസ്റ്റം മെസേജ് വിളിക്കുമ്പോഴും ഉപയോഗിക്കുക.
- ചെക്ക്പോയിന്റുകൾ വിലയിരുത്തുക - അവസാനത്തെ മാത്രം അനിഷ്ടമായി വിനിയോഗിക്കരുത്. ഫൗണ്ട്രി മൂന്ന് അവസാന യുപോകികളെ വിനിയോഗത്തിന് സൂക്ഷിക്കുന്നു;
train_loss/valid_loss& ടോക്കൺ കൃത്യത നോക്കി ഏറ്റവും നന്നായി പൊതുവായി പ്രയോഗിക്കാൻ കഴിയുന്നവ തിരഞ്ഞെടുക്കുക. - ഗുണമേനവും ടോക്കൺ ചെലവുകളും കൂടെ അളക്കുക ഫൈൻ-ട്യൂൺ ചെയ്ത മോഡൽ അടിസ്ഥാനരേഖയുമായി താരതമ്യം ചെയ്യുമ്പോൾ.
- നിരന്തര ഫൈൻ-ട്യൂണിംഗിനൊപ്പം പുനരാവർത്തിക്കുക. മുൻപ് ഫൈൻ-ട്യൂൺ ചെയ്ത മോഡൽ പുതിയത് ഉപയോഗിച്ച് കൂടി ഫൈൻ-ട്യൂൺ ചെയ്യാം (OpenAI മോഡലുകൾക്ക് പിന്തുണ).
- ഹോസ്റ്റിംഗ് ചെലവുകൾ ശ്രദ്ധിക്കുക. വിനിയോഗിച്ച കസ്റ്റം മോഡൽ മണിക്കൂറുകൾ അടിസ്ഥാനമാക്കി ബിൽ ചെയ്യുന്നു; പ്രവർത്തനമില്ലാത്ത വിനിയോഗം 15 ദിവസത്തിനു ശേഷം നീക്കം ചെയ്യുന്നു - അവശ്യ ഏതു അകറ്റുക.
Customize a model with fine-tuning വഴി മുഴുവൻ പ്രക്രിയ ദൃശ്യമാക്കുക, മറ്റ് സാങ്കേതികവിദ്യകൾക്കായുള്ള DPO & RFT ഗൈഡുകൾ കാണുക.
ചുവടെയുള്ള വనരശേഷികൾ (resources) സംതൃപ്തികരമായ ഡാറ്റാസെറ്റ് ഉള്ള പ്രായോഗിക ഉദാഹരണത്തിൽ നിങ്ങളെ സഹായിക്കുന്ന ഘട്ടം-ഘട്ടം മാർഗദർശകങ്ങൾ നൽകുന്നു. അവ മനസ്സിലാക്കാൻ പ്രത്യേക പ്രൊവൈഡറുടെ അക്കൗണ്ട്, അനുയോജ്യമായ മോഡലിനും ഡാറ്റാസെറ്റിനും പ്രവേശനം ആവശ്യമാണ്.
| പ്രൊവൈഡർ | ട്യൂട്ടോറിയൽ | വിവരണം |
|---|---|---|
| OpenAI | How to fine-tune chat models | ഒരു സവിശേഷ മേഖല ("റസിപി അസിസ്റ്റന്റ്") ലഭ്യമാക്കാനുള്ള OpenAI പുതിയ ചാറ്റ് മോഡൽ എങ്ങനെ ഫൈൻ-ട്യൂൺ ചെയ്യാമെന്നു പരിശീലന ഡാറ്റ ഒരുക്കൽ, ഫൈൻ-ട്യൂണിംഗ് ജോബ് ഓടിക്കൽ, ഫൈൻ-ട്യൂൺ ചെയ്ത മോഡൽ തിരിച്ചറിയൽ ഉപയോഗിക്കൽ എന്നിവയിൽ പഠിക്കൂ. |
| Microsoft Foundry | Customize a model with fine-tuning | ഇപ്പോൾ പിന്തുണയ്ക്കുന്ന മോഡൽ gpt-4.1-mini പോലുള്ളവരെ Azure-യിൽ Microsoft Foundry ഉപയോഗിച്ച് ഫൈൻ-ട്യൂൺ ചെയ്യുന്നത് പഠിക്കുക: പരിശീലനവും വിലയിരുത്തലും ഡാറ്റ തയ്യാറാക്കുക & അപ്ലോഡ് ചെയ്യുക, ഫൈൻ-ട്യൂണിംഗ് ജോബ് നടത്തുക, പുതിയ മോഡൽ വിനിയോഗിക്കുക. |
| Hugging Face | Hugging Face ഉപയോഗിച്ച് LLM-കൾ ഫൈൻ-ട്യൂണിങ്ങ് ചെയ്യൽ | ഈ ബ്ലോഗ് പോസ്റ്റ് നിങ്ങൾക്ക് transformers ലൈബ്രറി & Transformer Reinforcement Learning (TRL) ഉപയോഗിച്ച് Hugging Face ലെ തുറന്ന datasets ഉപയോഗിച്ച് ഒരു തുറഞ്ഞ LLM (ഉദാ: CodeLlama 7B) ഫൈൻ-ട്യൂൺ ചെയ്യുന്നത് വിശദമാക്കുന്നു. |
| 🤗 AutoTrain | AutoTrain ഉപയോഗിച്ച് LLM-കൾ ഫൈൻ-ട്യൂണിങ്ങ് ചെയ്യൽ | AutoTrain (അഥവാ AutoTrain Advanced) Hugging Face വികസിപ്പിച്ചിട്ടുള്ള ഒരു പൈതൺ ലൈബ്രറിയാണ്, ഇത് LLM ഫൈൻ-ട്യൂണിങ്ങ് ഉൾപ്പെടെ പലവ്യത്യസ്ത കാര്യങ്ങൾക്ക് ഫൈൻട്യൂണിംഗ് ചെയ്യാനാകും. AutoTrain ഒരു നൊ-കോഡ് പരിഹാരമാണ്, ഫൈൻ-ട്യൂണിംഗ് നിങ്ങളുടെ സ്വന്തം ക്ലൗഡിൽ, Hugging Face Spaces-ലോ ലൊക്കലിലോ നടത്താവുന്നതാണ്. ഇത് വെബ്ബ് അടിസ്ഥാനത്തിലുള്ള GUI, CLI, yaml കൺഫിഗ് ഫയലുകൾ വഴി ട്രെയിനിംഗ് എന്നിവയ 모두 പിന്തുണയ്ക്കുന്നു. |
| 🦥 Unsloth | Unsloth ഉപയോഗിച്ച് LLM-കൾ ഫൈൻ-ട്യൂണിങ്ങ് ചെയ്യൽ | Unsloth ഒരു ഓപ്പൺ-സോഴ്സ് ഫ്രെയിംവർക്കാണ്, ഇത് LLM ഫൈൻ-ട്യൂണിങ്ങും റീ ഇൻഫോഴ്‌സ്‌മെന്റ് ലേണിങും (RL) പിന്തുണയ്ക്കുന്നു. Unsloth പ്രാദേശിക ട്രെയിനിംഗ്, മൂല്യനിർണ്ണയം, ഡിപ്ലോയ്മെന്റ് എന്നിവയ്ക്ക് വേണ്ടി ഒരുങ്ങിയ നോട്ട്ബുക്കുകൾ ഉപയോഗിച്ച് സുലഭമാക്കുന്നു. ഇത് ടെക്സ്റ്റ്-ടു-സ്പീച്ച് (TTS), BERT, മൾട്ടിമോഡൽ മോഡലുകൾ എന്നിവയ്ക്കും പിന്തുണ നൽകുന്നു. തുടങ്ങാനുള്ളത് അവരുടെ ഘട്ടം-ഘട്ടമായ Fine-tuning LLMs ഗൈഡ് വായിക്കുക. |
മുകളിലെ ട്യൂട്ടോറിയലുകളിൽ ഒരുത് തിരഞ്ഞെടുക്കുകയും അതിലൂടെ പോകുകയും ചെയ്യുക. ഈ ട്യൂട്ടോറിയലുകളുടെ ഒരു പതിപ്പ് Jupyter നോട്ട്ബുക്കുകളിൽ ഈ റിപോയിൽ ചിലതിനെന ഒഴികെ ആവർത്തിക്കാം. ഏറ്റവും പുതിയ പതിപ്പുകൾക്ക് ദയവായി മൂൾ സ്രോതസ്സ് നേരിട്ട് ഉപയോഗിക്കുക.
ഈ പാഠം പൂർത്തിയാക്കുമ്പോൾ, ഞങ്ങളുടെ Generative AI Learning കളക്ഷൻ നോക്കുക Generative AI അറിവ് വർദ്ധിപ്പിക്കുന്നതിനു!
അഭിനന്ദനങ്ങൾ!! ഈ കോഴ്‌സിന്റെ v2 ശ്രേണി മൊത്തം അവസാന പാഠം നിങ്ങൾ പൂർത്തിയാക്കി! പഠനവും നിർമ്മാണവും അവസാനിപ്പിക്കണ്ട. **ഈ വിഷയം സംബന്ധിച്ച അധിക നിർദ്ദേശങ്ങൾക്കായി RESOURCES പേജ് പരിശോധിക്കുക.
നമ്മുടെ v1 ലെ ഷൻസിസിൽ കൂടുതൽ അസൈൻമെന്റുകളും ആശയങ്ങളും ചേർത്തു പുതുക്കി. അതിനു വേണ്ടി നിങ്ങളുടെ അറിവ് പുതുക്കാൻ ഒരു മിനിറ്റ് വേണം - ദയവായി നിങ്ങളുടെ ചോദ്യങ്ങളും അഭിപ്രായങ്ങളും പങ്കുവെക്കുക ഈ പാഠങ്ങൾ കമ്മ്യൂണിറ്റിക്ക് മെച്ചപ്പെടുത്താൻ സഹായിക്കും.
അറിയിപ്പ്: ഈ രേഖ AI പരിഭാഷാ സേവനം Co-op Translator ഉപയോഗിച്ച് പരിഭാഷപ്പെടുത്തിയതാണ്. ഞങ്ങൾ കൃത്യതയ്ക്കായി ശ്രമിക്കുന്നുവെങ്കിലും, ഓട്ടോമേറ്റഡ് പരിഭാഷകളിൽ പിഴവുകൾ അല്ലെങ്കിൽ തെറ്റായ വിവരങ്ങൾ ഉണ്ടാകാൻ സാധ്യതയുണ്ട്. അതിന്റെ സ്വാഭാവിക ഭാഷയിലുള്ള അസൽ രേഖയാണ് പ്രാമാണികമായ ഉറവിടമായി പരിഗണിക്കേണ്ടത്. നിർണായകമായ വിവരങ്ങൾക്ക്, പ്രൊഫഷണൽ മനുഷ്യ പരിഭാഷ ശുപാർശ ചെയ്യുന്നു. ഈ പരിഭാഷ ഉപയോഗിച്ച് ഉണ്ടാകുന്ന തെറ്റിദ്ധാരണകൾ അല്ലെങ്കിൽ തെറ്റായ വ്യാഖ്യാനങ്ങൾക്കായി ഞങ്ങൾ ഉത്തരവാദികളല്ല.