ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਦਾ ਇਸਤੇਮਾਲ ਕਰਕੇ ਜਨਰੇਟਿਵ ਏਆਈ ਐਪਲੀਕੇਸ਼ਨਾਂ ਬਣਾਉਣਾ ਨਵੀਆਂ ਚੁਣੌਤੀਆਂ ਨਾਲ ਆਉਂਦਾ ਹੈ। ਇੱਕ ਮੁੱਖ ਮੁੱਦਾ ਇਹ ਹੈ ਕਿ ਮਾਡਲ ਦੁਆਰਾ ਦਿੱਤੇ ਜਾਂਦੇ ਜਵਾਬਾਂ ਦੀ ਗੁਣਵੱਤਾ (ਸਹੀਤਾ ਅਤੇ ਪ੍ਰਸੰਗਿਕਤਾ) ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਣਾ, ਖਾਸ ਕਰਕੇ ਵਰਤੋਂਕਾਰ ਦੀ ਮੰਗ ਲਈ। ਪਿਛਲੇ ਪਾਠਾਂ ਵਿੱਚ ਅਸੀਂ ਪ੍ਰੌਂਪਟ ਇੰਜੀਨੀਅਰਿੰਗ ਅਤੇ ਰਿਟਰੀਵਲ-ਆਗਮੈਂਟੇਡ ਜਨਰੇਸ਼ਨ ਵਰਗੀਆਂ ਤਕਨੀਕਾਂ ਬਾਰੇ ਗੱਲ ਕੀਤੀ, ਜੋ ਮੌਜੂਦਾ ਮਾਡਲ ਵਿੱਚ ਪ੍ਰੌਂਪਟ ਇਨਪੁੱਟ ਨੂੰ ਸੋਧ ਕੇ ਸਮੱਸਿਆ ਹੱਲ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੀਆਂ ਹਨ।
ਅੱਜ ਦੇ ਪਾਠ ਵਿੱਚ, ਅਸੀਂ ਤੀਜੀ ਤਕਨੀਕ, ਫਾਈਨ-ਟਿਊਨਿੰਗ, ਬਾਰੇ ਚਰਚਾ ਕਰਾਂਗੇ, ਜੋ ਨਵਾਂ ਡਾਟਾ ਵਰਤ ਕੇ ਖੁਦ ਮਾਡਲ ਨੂੰ ਮੁੜ ਸਿਖਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੀ ਹੈ। ਆਓ ਵਿਸਥਾਰ ਵਿੱਚ ਜਾ ਕੇ ਵੇਖੀਏ।
ਇਹ ਪਾਠ ਪੂਰਵ-ਤਿਆਰ ਕੀਤੇ ਗਏ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਲਈ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਦੀ ਸੰਕਲਪਨਾ ਜਾਣੂ ਕਰਵਾਉਂਦਾ ਹੈ, ਇਸ ਪদ্ধਤੀ ਦੇ ਲਾਭਾਂ ਅਤੇ ਚੁਣੌਤੀਆਂ ਦਾ ਅਧਿਐਨ ਕਰਦਾ ਹੈ, ਅਤੇ ਤੁਹਾਡੇ ਜਨਰੇਟਿਵ ਏਆਈ ਮਾਡਲਾਂ ਦੀ ਪ੍ਰਦਰਸ਼ਨ ਸੁਧਾਰਣ ਦੇ ਲਈ ਕਦੋਂ ਅਤੇ ਕਿਵੇਂ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ ਇਸ ਬਾਰੇ ਰਾਹਨੁਮਾਈ ਦਿੰਦਾ ਹੈ।
ਇਸ ਪਾਠ ਦੇ ਅੰਤ ਤੱਕ, ਤੁਹਾਨੂੰ ਹੇਠ ਲਿਖੇ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਦੇਣੇ ਆਉਣੇ ਚਾਹੀਦੇ ਹਨ:
- ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਲਈ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਕੀ ਹੈ?
- ਕਦੋਂ ਅਤੇ ਕਿਉਂ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਲਾਭਦਾਇਕ ਹੈ?
- ਮੈਂ ਪੂਰਵ-ਤਿਆਰ ਮਾਡਲ ਨੂੰ ਕਿਵੇਂ ਫਾਈਨ-ਟਿਊਨ ਕਰ ਸਕਦਾ ਹਾਂ?
- ਫਾਈਨ-ਟਿਊਨਿੰਗ ਦੀਆਂ ਸੀਮਾਵਾਂ ਕੀ ਹਨ?
ਤਿਆਰ? ਚਲੋ ਸ਼ੁਰੂ ਕਰੀਏ।
ਕੀ ਤੁਸੀਂ ਇਸ ਪਾਠ ਦੀ ਵੱਡੀ ਤਸਵੀਰ ਜਾਣਣਾ ਚਾਹੁੰਦੇ ਹੋ ਇਸ ਤੋਂ ਪਹਿਲਾਂ ਕਿ ਅਸੀਂ ਡੁੱਬਾਈਏ? ਇਹ ਚਿੱਤਰਤ ਗਾਈਡ ਦੇਖੋ ਜੋ ਇਸ ਪਾਠ ਦੀ ਸਿੱਖਣ ਯਾਤਰਾ ਨੂੰ ਵੇਖਾਉਂਦੀ ਹੈ - ਫਾਈਨ-ਟਿਊਨਿੰਗ ਲਈ ਮੁੱਖ ਤੱਤਾਂ ਅਤੇ ਪ੍ਰੇਰਨਾ ਤੋਂ ਲੈ ਕੇ ਪ੍ਰਕਿਰਿਆ ਅਤੇ ਸਭ ਤੋਂ ਵਧੀਆ ਅਭਿਆਸਾਂ ਦੇ ਵਰਣਨ ਤੱਕ। ਇਹ ਇਕ ਦਿਲਚਸਪ ਵਿਸ਼ਾ ਹੈ, ਇਸ ਲਈ ਆਪਣੀ ਖੁਦਮੁਖਤਿਆਰ ਸਿੱਖਣ ਯਾਤਰਾ ਨੂੰ ਸਮਰਥਨ ਦੇਣ ਲਈ ਸਾਧਨ ਸਫ਼ਾ ਵੇਖਣਾ ਨਾ ਭੁੱਲੋ!
ਪਰਿਭਾਸ਼ਾ ਦੇ ਤੌਰ 'ਤੇ, ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਨੂੰ ਇੰਟਰਨੈੱਟ ਸਮੇਤ ਵੱਖ-ਵੱਖ ਸਰੋਤਾਂ ਤੋਂ ਮਿਲੀ ਭਾਰੀ ਮਾਤਰਾ ਵਿੱਚ ਲਿਖਤ ’ਤੇ ਪੂਰਵ-ਤਿਆਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਜਿਵੇਂ ਕਿ ਅਸੀਂ ਪਹਿਲਾਂ ਦੇ ਪਾਠਾਂ ਵਿੱਚ ਸਿੱਖਿਆ, ਸਾਨੂੰ ਮਾਡਲ ਦੇ ਜਵਾਬਾਂ ਦੀ ਗੁਣਵੱਤਾ ਸੁਧਾਰਨ ਲਈ ਪ੍ਰੌਂਪਟ ਇੰਜੀਨੀਅਰਿੰਗ ਅਤੇ ਰਿਟਰੀਵਲ-ਆਗਮੈਂਟੇਡ ਜਨਰੇਸ਼ਨ ਵਰਗੀਆਂ ਤਕਨੀਕਾਂ ਦੀ ਜ਼ਰੂਰਤ ਹੁੰਦੀ ਹੈ, ਜੋ ਵਰਤੋਂਕਾਰ ਦੇ ਸਵਾਲਾਂ ("ਪ੍ਰੌਂਪਟ") ਦੇ ਜਵਾਬਾਂ ਨੂੰ ਸੁਧਾਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੀਆਂ ਹਨ।
ਇੱਕ ਲੋਕਪ੍ਰਿਯ ਪ੍ਰੌਂਪਟ-ਇੰਜੀਨੀਅਰਿੰਗ ਤਕਨੀਕ ਮਾਡਲ ਨੂੰ ਇਸ ਗੱਲ ਦੀ ਹੋਰ ਰਾਹਨੁਮਾਈ ਦੇਣੀ ਹੋਂਦੀ ਹੈ ਕਿ ਜਵਾਬ ਵਿੱਚ ਕੀ ਉਮੀਦ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਜਾਂ ਤਾਂ ਨਿਰਦੇਸ਼ (ਸਪਸ਼ਟ ਰਾਹਨੁਮਾਈ) ਦੇ ਕੇ ਜਾਂ ਕੁਝ ਉਦਾਹਰਣਾਂ ਦੇ ਕੇ (ਆਪ੍ਰਤੱਖ ਰਾਹਨੁਮਾਈ)। ਇਸਨੂੰ ਫਿਊ-ਸ਼ਾਟ ਲਰਨਿੰਗ ਕਿਹਾ ਜਾਂਦਾ ਹੈ ਪਰ ਇਸਦੇ ਦੋ ਸੀਮਿਤਤਾਵਾਂ ਹਨ:
- ਮਾਡਲ ਟੋਕਨ ਸੀਮਾਵਾਂ ਉਦਾਹਰਣਾਂ ਦੀ ਗਿਣਤੀ ਨੂੰ ਸੀਮਿਤ ਕਰ ਸਕਦੀਆਂ ਹਨ, ਅਤੇ ਪ੍ਰਭਾਵਸ਼ੀਲਤਾ ਨੂੰ ਘਟਾ ਸਕਦੀਆਂ ਹਨ।
- ਮਾਡਲ ਟੋਕਨ ਲਾਗਤ ਹਰ ਪ੍ਰੌਂਪਟ ਵਿੱਚ ਉਦਾਹਰਣ ਜੋੜਨ ਨੂੰ ਮਹਿੰਗਾ ਬਣਾ ਸਕਦੀ ਹੈ, ਅਤੇ ਲਚਕੀਲਾਪਨ ਨੂੰ ਘਟਾ ਸਕਦੀ ਹੈ।
ਫਾਈਨ-ਟਿਊਨਿੰਗ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਪ੍ਰਣਾਲੀਆਂ ਵਿੱਚ ਇੱਕ ਆਮ ਅਭਿਆਸ ਹੈ ਜਿੱਥੇ ਅਸੀਂ ਇੱਕ ਪੂਰਵ-ਤਿਆਰ ਮਾਡਲ ਲੈਂਦੇ ਹਾਂ ਅਤੇ ਨਵੇਂ ਡਾਟਾ ਨਾਲ ਇਸਨੂੰ ਮੁੜ ਸਿਖਾਉਂਦੇ ਹਾਂ ਤਾਂ ਜੋ ਕਿਸੇ ਖਾਸ ਕੰਮ ‘ਤੇ ਇਸਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਨੂੰ ਸੁਧਾਰਿਆ ਜਾ ਸਕੇ। ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਦੇ ਸੰਦਰਭ ਵਿੱਚ, ਅਸੀਂ ਪੂਰਵ-ਤਿਆਰ ਮਾਡਲ ਨੂੰ ਕਿਸੇ ਖਾਸ ਕੰਮ ਜਾਂ ਐਪਲੀਕੇਸ਼ਨ ਡੋਮੇਨ ਲਈ ਚੁਣੇ ਹੋਏ ਉਦਾਹਰਣਾਂ ਨਾਲ ਫਾਈਨ-ਟਿਊਨ ਕਰ ਸਕਦੇ ਹਾਂ ਤਾਂ ਜੋ ਇੱਕ ਕਸਟਮ ਮਾਡਲ ਤਿਆਰ ਕਰੀਏ ਜੋ ਕਿ ਉਸ ਖਾਸ ਕੰਮ ਜਾਂ ਡੋਮੇਨ ਲਈ ਹੋਰ ਸਹੀ ਅਤੇ ਪ੍ਰਸੰਗਿਕ ਹੋ ਸਕੇ। ਫਾਈਨ-ਟਿਊਨਿੰਗ ਦਾ ਇਕ ਸਾਈਡ ਲਾਭ ਇਹ ਵੀ ਹੈ ਕਿ ਇਸ ਨਾਲ ਫਿਊ-ਸ਼ਾਟ ਲਰਨਿੰਗ ਲਈ ਲੋੜੀਂਦੇ ਉਦਾਹਰਣਾਂ ਦੀ ਗਿਣਤੀ ਘਟ ਜਾਂਦੀ ਹੈ - ਜੋ ਟੋਕਨ ਵਰਤੋਂ ਅਤੇ ਸੰਬੰਧਤ ਲਾਗਤਾਂ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ।
ਇਸ ਸੰਦਰਭ ਵਿੱਚ ਜਦੋਂ ਅਸੀਂ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਦੀ ਗੱਲ ਕਰਦੇ ਹਾਂ, ਤਾਂ ਅਸੀਂ ਸਪਰਵਾਈਜ਼ਡ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਦੀ ਗੱਲ ਕਰ ਰਹੇ ਹਾਂ ਜਿੱਥੇ ਮੁੜ ਸਿਖਾਈ ਹੋ ਰਹੀ ਹੁੰਦੀ ਹੈ ਨਵਾਂ ਡਾਟਾ ਜੋ ਅਸਲ ਟ੍ਰੇਨਿੰਗ ਡਾਟਾਸੇਟ ਦਾ ਹਿੱਸਾ ਨਹੀਂ ਸੀ। ਇਹ ਉਸ ਅਣਸਪਰਵਾਈਜ਼ਡ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਤਰੀਕੇ ਤੋਂ ਵੱਖਰਾ ਹੈ ਜਿੱਥੇ ਮਾਡਲ ਮੁੜ ਉਸੀ ਅਸਲ ਡਾਟਾ 'ਤੇ, ਪਰ ਵੱਖਰੇ ਹਾਇਪਰਪੈਰਾਮੀਟਰਾਂ ਨਾਲ ਸਿਖਾਇਆ ਜਾਂਦਾ ਹੈ।
ਮੁੱਖ ਗੱਲ ਯਾਦ ਰੱਖਣ ਵਾਲੀ ਇਹ ਹੈ ਕਿ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਇਕ ਅਗੇਤਰਤਮ ਤਕਨੀਕ ਹੈ ਜੋ ਚਾਹੀਦੇ ਨਤੀਜੇ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਇਕ ਨਿਸ਼ਚਿਤ ਪੱਧਰ ਦੀ ਮਹਿਰਤ ਦੀ ਲੋੜ ਰੱਖਦੀ ਹੈ। ਜੇ ਇਹ ਗਲਤ ਤਰੀਕੇ ਨਾਲ ਕੀਤੀ ਜਾਵੇ, ਤਾਂ ਇਹ ਉਮੀਦ ਵਰਗੀ ਸੁਧਾਰ ਨਾ ਦੇ ਸਕੇ ਅਤੇ ਤੁਹਾਡੇ ਨਿਸ਼ਾਨ ਬਨਾਏ ਡੋਮੇਨ ਲਈ ਮਾਡਲ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਨੂੰ ਵੀ ਘਟਾ ਸਕਦੀ ਹੈ।
ਇਸ ਲਈ, ਇਸ ਗੱਲ ਨੂੰ ਸਿੱਖਣ ਤੋਂ ਪਹਿਲਾਂ ਕਿ "ਕਿਵੇਂ" ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਨੂੰ ਫਾਈਨ-ਟਿਊਨ ਕਰਨਾ ਹੈ, ਤੁਹਾਨੂੰ ਇਹ ਜਾਣਨਾ ਜਰੂਰੀ ਹੈ ਕਿ "ਕਿਉਂ" ਤੁਸੀਂ ਇਹ ਰਾਹ ਲੈਣਾ ਚਾਹੁੰਦੇ ਹੋ, ਅਤੇ "ਕਦੋਂ" ਫਾਈਨ-ਟਿਊਨਿੰਗ ਦੀ ਸ਼ੁਰੂਆਤ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ। ਸ਼ੁਰੂਆਤ ਆਪਣੇ ਆਪ ਨੂੰ ਇਹ ਸਵਾਲ ਪੁੱਛ ਕੇ ਕਰੋ:
- ਇਸਤਮਾਲ ਮਾਮਲਾ: ਫਾਈਨ-ਟਿਊਨਿੰਗ ਦਾ ਤੁਹਾਡਾ ਇਸਤਮਾਲ ਮਾਮਲਾ ਕੀ ਹੈ? ਤੁਸੀਂ ਮੌਜੂਦਾ ਪੂਰਵ-ਤਿਆਰ ਮਾਡਲ ਦੇ ਕਿਸ ਪੱਖ ਨੂੰ ਸੁਧਾਰਨਾ ਚਾਹੁੰਦੇ ਹੋ?
- ਵਿਕਲਪ: ਕੀ ਤੁਸੀਂ ਹੋਰ ਤਕਨੀਕਾਂ ਵਰਤ ਕੇ ਚਾਹੀਦੇ ਨਤੀਜੇ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ ਹੈ? ਉਨ੍ਹਾਂ ਦੀ ਵਰਤੋਂ ਬੇਸਲਾਈਨ ਬਣਾਉਣ ਲਈ ਕਰੋ।
- ਪ੍ਰੌਂਪਟ ਇੰਜੀਨੀਅਰਿੰਗ: ਵਿਸ਼ੇਸ ਪ੍ਰੌਂਪਟ ਜਵਾਬਾਂ ਦੇ ਕੁਝ ਉਦਾਹਰਣਾਂ ਨਾਲ ਘੱਟ-ਸ਼ਟ ਪ੍ਰੌਂਪਟਿੰਗ ਵਰਗੀਆਂ ਤਕਨੀਕਾਂ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰੋ। ਜਵਾਬਾਂ ਦੀ ਗੁਣਵੱਤਾ ਮੁਲਾਂਕਣ ਕਰੋ।
- ਰਿਟਰੀਵਲ ਆਗਮੈਂਟੇਡ ਜਨਰੇਸ਼ਨ: ਆਪਣੇ ਡਾਟਾ ਦੀ ਖੋਜ ਨਾਲ ਪ੍ਰਾਪਤ ਕੀਤੇ ਗਏ ਕੈਵਰੀ ਦੇ ਨਤੀਜਿਆਂ ਦੇ ਨਾਲ ਪ੍ਰੌਂਪਟ ਬਢਾਓ। ਜਵਾਬਾਂ ਦੀ ਗੁਣਵੱਤਾ ਮੁਲਾਂਕਣ ਕਰੋ।
- ਲਾਗਤਾਂ: ਕੀ ਤੁਸੀਂ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਲਈ ਲਾਗਤਾਂ ਦੀ ਪਹਚਾਣ ਕੀਤੀ ਹੈ?
- ਟਿਊਨਾਬਿਲਟੀ - ਕੀ ਪੂਰਵ-ਤਿਆਰ ਮਾਡਲ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਲਈ ਉਪਲਬਧ ਹੈ?
- ਕੋਸ਼ਿਸ਼ - ਟ੍ਰੇਨਿੰਗ ਡਾਟਾ ਤਿਆਰ ਕਰਨ, ਮਾਡਲ ਦਾ ਮੁਲਾਂਕਣ ਅਤੇ ਸੁਧਾਰ ਕਰਨ ਲਈ।
- ਕਮਪਿਊਟ - ਫਾਈਨ-ਟਿਊਨਿੰਗ ਜੌਬ ਚਲਾਉਣ ਅਤੇ ਫਾਈਨ-ਟਿਊਨ ਕੀਤੇ ਮਾਡਲ ਨੂੰ ਡਿਪਲੌਇ ਕਰਨ ਲਈ।
- ਡਾਟਾ - ਫਾਈਨ-ਟਿਊਨਿੰਗ ਪ੍ਰਭਾਵ ਲਈ ਕਾਫ਼ੀ ਗੁਣਵੱਤਾ ਵਾਲੇ ਉਦਾਹਰਣਾਂ ਤੱਕ ਪਹੁੰਚ।
- ਲਾਭ: ਕੀ ਤੁਸੀਂ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਦੇ ਲਾਭ ਦੀ ਪੁਸ਼ਟੀ ਕੀਤੀ ਹੈ?
- ਗੁਣਵੱਤਾ - ਕੀ ਫਾਈਨ-ਟਿਊਨ ਕੀਤਾ ਮਾਡਲ ਬੇਸਲਾਈਨ ਤੋਂ ਵਧੀਆ ਹੈ?
- ਲਾਗਤ - ਕੀ ਇਹ ਪ੍ਰੌਂਪਟ ਸਧਾਰਨ ਕਰਕੇ ਟੋਕਨ ਵਰਤੋਂ ਘਟਾਉਂਦਾ ਹੈ?
- ਵਾਧੂ ਯੋਗਤਾ - ਕੀ ਤੁਸੀਂ ਬੇਸ ਮਾਡਲ ਨੂੰ ਨਵੀਂ ਡੋਮੇਨਾਂ ਲਈ ਦੁਬਾਰਾ ਵਰਤ ਸਕਦੇ ਹੋ?
ਏਹਨਾਂ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਦੇ ਕੇ, ਤੁਸੀਂ ਇਹ ਫੈਸਲਾ ਕਰ ਸਕਦੇ ਹੋ ਕਿ ਤੁਹਾਡੇ ਇਸਤੇਮਾਲ ਮਾਮਲੇ ਲਈ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਸਹੀ ਹੈ ਜਾਂ ਨਹੀਂ। ਆਈਡਿਆਲੀ, ਇਹ ਪদ্ধਤੀ ਸਿਰਫ ਉਸ ਵੇਲੇ ਮਾਣਯੋਗ ਹੈ ਜਦੋਂ ਲਾਭ ਲਾਗਤਾਂ ਨਾਲੋਂ ਵੱਧ ਹੋਣ। ਜਦੋਂ ਤੁਸੀਂ ਫੈਸਲਾ ਕਰ ਲਓ, ਤਾਂ ਸੋਚੋ ਕਿ ਤੁਸੀਂ ਪੂਰਵ-ਤਿਆਰ ਮਾਡਲ ਨੂੰ ਕਿਵੇਂ ਫਾਈਨ-ਟਿਊਨ ਕਰ ਸਕਦੇ ਹੋ।
ਫੈਸਲਾ ਕਰਨ ਦੀ ਪ੍ਰਕਿਰਿਆ ਬਾਰੇ ਹੋਰ ਜਾਣਕਾਰੀ ਲੈਣੀ ਹੈ? ਫਾਈਨ-ਟਿਊਨ ਕਰਨਾ ਜਾਂ ਨਾਂ ਕਰਨਾ ਦੇਖੋ।
ਫਾਈਨ-ਟਿਊਨਿੰਗ ਕਰਨ ਲਈ, ਤੁਹਾਡੇ ਕੋਲ ਇਹ ਚੀਜ਼ਾਂ ਹੋਣੀਆਂ ਚਾਹੀਦੀਆਂ ਹਨ:
- ਫਾਈਨ-ਟਿਊਨ ਕਰਨ ਲਈ ਇਕ ਪ੍ਰੀ-ਟ੍ਰੇਨਡ ਮਾਡਲ
- ਫਾਈਨ-ਟਿਊਨਿੰਗ ਲਈ ਵਰਤਣ ਲਈ ਇੱਕ ਡੇਟਾਸੈੱਟ
- ਫਾਈਨ-ਟਿਊਨਿੰਗ ਜੌਬ ਚਲਾਉਣ ਲਈ ਇੱਕ ਟ੍ਰੇਨਿੰਗ ਵਾਤਾਵਰਣ
- ਫਾਈਨ-ਟਿਊਨ ਕੀਤੇ ਮਾਡਲ ਨੂੰ ਡਿਪਲੌਇ ਕਰਨ ਲਈ ਇੱਕ ਹੋਸਟਿੰਗ ਵਾਤਾਵਰਣ
ਮਾਇਕ੍ਰੋਸੌਫਟ ਫਾਉਂਡਰੀ ਓਸ ਸਥਾਨ ਹੈ ਜਿੱਥੇ ਤੁਸੀਂ ਅੱਜ ਅਜ਼ੂਰੀ 'ਤੇ ਕਸਟਮ ਮਾਡਲਾਂ ਨੂੰ ਫਾਈਨ-ਟਿਊਨ, ਡਿਪਲੌਇ ਅਤੇ ਪ੍ਰਬੰਧਿਤ ਕਰਦੇ ਹੋ (ਇਹ ਉਹਨਾਂ ਨੂੰ ਇਕੱਠਾ ਕਰਦਾ ਹੈ ਜੋ ਪਹਿਲਾਂ ਅਜ਼ੂਰੀ ਓਪਨਏਆਈ ਸਟੂਡੀਓ ਅਤੇ ਅਜ਼ੂਰੀ ਏਆਈ ਸਟੂਡੀਓ ਸਨ)। ਇੱਕ ਜੌਬ ਸ਼ੁਰੂ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ, ਇਹ ਸਮਝਣਾ ਮਦਦਗਾਰ ਹੁੰਦਾ ਹੈ ਕਿ ਫਾਉਂਡਰੀ ਤੁਹਾਨੂੰ ਕਿਹੜੀਆਂ ਚੋਣਾਂ ਦਿੰਦਾ ਹੈ - ਅਤੇ ਪਲੇਟਫਾਰਮ ਕਿਹੜੇ ਵਧੀਆ ਅਭਿਆਸ ਸੁਝਾਉਂਦਾ ਹੈ। ਅੰਦਰਲਾ ਢਾਂਚਾ, ਫਾਉਂਡਰੀ ਮਾਡਲਾਂ ਨੂੰ ਪ੍ਰਭਾਵਸ਼ালী ਢੰਗ ਨਾਲ ਫਾਈਨ-ਟਿਊਨ ਕਰਣ ਲਈ LoRA (ਲੋ-ਰੈਂਕ ਅਡਾਪਟੇਸ਼ਨ) ਵਰਤਦਾ ਹੈ, ਜੋ ਹਰ ਵਜ਼ਨ ਨੂੰ ਮੁੜ ਸਿਖਾਉਣ ਦੇ ਮੁਕਾਬਲੇ ਇੱਕ ਤੇਜ਼ ਅਤੇ ਵੱਧ ਪਰਿਵੇਸ਼ਕ ਹੈ।
ਫਾਉਂਡਰੀ ਤਿੰਨ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਤਕਨੀਕਾਂ ਨੂੰ ਸਹਾਰਦਾ ਹੈ। ਐੱਸਐਫਟੀ (SFT) ਨਾਲ ਸ਼ੁਰੂ ਕਰੋ - ਇਹ ਵੱਖ-ਵੱਖ ਸਥਿਤੀਆਂ ਦੀ ਸਭ ਤੋਂ ਵਿਆਪਕ ਸੀਮਾ ਨੂੰ ਕਵਰ ਕਰਦਾ ਹੈ।
| ਤਕਨੀਕ | ਇਹ ਕੀ ਕਰਦੀ ਹੈ | ਕਦੋਂ ਇਸਦਾ ਇਸਤੇਮਾਲ ਕਰੀਏ |
|---|---|---|
| ਸਪਰਵਾਈਜ਼ਡ ਫਾਈਨ-ਟਿਊਨਿੰਗ (SFT) | ਇਨਪੁੱਟ/ਆਊਟਪੁੱਟ ਉਦਾਹਰਣ ਪੇਅਰਾਂ 'ਤੇ ਟ੍ਰੇਨ ਕਰਦੀ ਹੈ ਤਾਂ ਜੋ ਮਾਡਲ ਉਹ ਜਵਾਬ ਦੇਣਾ ਸਿੱਖ ਜਾਵੇ ਜੋ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ। | ਜ਼ਿਆਦਾਤਰ ਕਾਰਜਾਂ ਲਈ ਡਿਫਾਲਟ: ਡੋਮੇਨ ਵਿਸ਼ੇਸ਼ਤਾ, ਕਾਰਜ ਪ੍ਰਦਰਸ਼ਨ, ਸ਼ੈਲੀ ਅਤੇ ਲਹਿਜ਼ਾ, ਨਿਰਦੇਸ਼-ਪਾਲਣ ਅਤੇ ਭਾਸ਼ਾ ਅਨੁਕੂਲਤਾ। |
| ਡਾਇਰੈਕਟ ਪ੍ਰਿਫਰੰਸ ਓਪਟੀਮਾਈਜ਼ੇਸ਼ਨ (DPO) | ਮਨੁੱਖੀ ਪਸੰਦਾਂ ਦੇ ਅਨੁਸਾਰ ਨਿਕਾਸ ਦਾ ਮਿਲਾਵਟ ਕਰਨ ਲਈ ਪਸੰਦੀਦਾ ਵਿਰੁੱਧ ਗੈਰ-ਪਸੰਦੀਦਾ ਜਵਾਬ ਜੋੜਿਆਂ ਤੋਂ ਸਿੱਖਦਾ ਹੈ। | ਜਦੋਂ ਤੁਸੀਂ ਤੁਲਨਾਤਮਕ ਫੀਡਬੈਕ ਲੈਂਦੇ ਹੋ, ਤਾਂ ਜਵਾਬਾਂ ਦੀ ਗੁਣਵੱਤਾ, ਸੁਰੱਖਿਆ ਅਤੇ ਅਨੁਕੂਲਤਾ ਸੁਧਾਰਣ ਲਈ। |
| ਰਿਇਨਫੋਰਸਮੈਂਟ ਫਾਈਨ-ਟਿਊਨਿੰਗ (RFT) | ਗਰੇਡਰਾਂ ਵੱਲੋਂ ਇਨਾਮੀ ਸੰਕੇਤਾਂ ਨਾਲ ਜਟਿਲ ਵਿਹਾਰਾਂ ਨੂੰ ਰਿਇਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ ਨਾਲ ਅਨੁਕੂਲ ਕਰਦੀ ਹੈ। | ਨਿਸ਼ਚਤ, ਤਰਕਸ਼ੀਲ ਡੋਮੇਨਾਂ (ਗਣਿਤ, ਰਸਾਇਣ ਵਿਗਿਆਨ, ਭੌਤਿਕ ਵਿਗਿਆਨ) ਜਿੱਥੇ ਸਹੀ/ਗਲਤ ਜਵਾਬ ਸਾਫ਼ ਹੁੰਦੇ ਹਨ। ਵੱਧ ML ਨਿਪੁੰਨਤਾ ਦੀ ਲੋੜ। |
ਫਾਉਂਡਰੀ ਤੁਹਾਨੂੰ ਚੁਣਨ ਦਿੰਦਾ ਹੈ ਕਿ ਟ੍ਰੇਨਿੰਗ ਕਿਵੇਂ ਅਤੇ ਕਿੱਥੇ ਚੱਲੇ:
- ਮਿਆਰੀ - ਤੁਹਾਡੇ ਸਰੋਤ ਦੇ ਖੇਤਰ ਵਿੱਚ ਟ੍ਰੇਨ ਕਰਦਾ ਹੈ ਅਤੇ ਡਾਟਾ ਨਿਵਾਸੀ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ। ਜਦੋਂ ਡਾਟਾ ਕਿਸੇ ਖਾਸ ਖੇਤਰ ਵਿੱਚ ਰਹਿਣਾ ਲਾਜ਼ਮੀ ਹੋਵੇ ਤਾਂ ਇਸਦਾ ਇਸਤੇਮਾਲ ਕਰੋ।
- ਗਲੋਬਲ - ਤੁਹਾਡੇ ਖੇਤਰ ਤੋਂ ਬਾਹਰ ਦੀ ਸਮਰੱਥਾ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਤੇਜ਼ ਅਤੇ ਸਸਤਾ ਕਿਊ ਕਰਦਾ ਹੈ (ਡਾਟਾ ਅਤੇ ਵਜ਼ਨ ਟ੍ਰੇਨਿੰਗ ਖੇਤਰ ਵਿੱਚ ਕਾਪੀ ਕੀਤੇ ਜਾਂਦੇ ਹਨ)। ਜਦੋਂ ਡਾਟਾ ਨਿਵਾਸੀ ਦੀ ਲੋੜ ਨਾ ਹੋਵੇ ਤਾਂ ਇਹ ਚੰਗਾ ਡਿਫਾਲਟ ਹੈ।
- ਡਿਵੈਲਪਰ - ਸਭ ਤੋਂ ਘੱਟ ਲਾਗਤ ਵਾਲਾ, ਖ਼ਾਲੀ ਸਮਰੱਥਾ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ ਬਿਨਾਂ ਕੋਈ ਲੇਟੈਂਸੀ/SLA ਗਾਰੰਟੀ ਦੇ (ਜੌਬ ਪਹਿਲਾਂ ਰੋਕੇ ਜਾ ਸਕਦੇ ਹਨ ਅਤੇ ਮੁੜ ਚਾਲੂ ਕੀਤੇ ਜਾ ਸਕਦੇ ਹਨ)। ਪ੍ਰਯੋਗ ਲਈ ਆਦਰਸ਼।
ਫਾਈਨ-ਟਿਊਨ ਕਰਨ ਯੋਗ ਮਾਡਲਾਂ ਵਿੱਚ OpenAI gpt-4o-mini, gpt-4o, gpt-4.1, gpt-4.1-mini, ਅਤੇ gpt-4.1-nano (SFT; 4o/4.1 ਪਰਿਵਾਰ DPO ਨੂੰ ਵੀ ਸਹਾਰਦਾ ਹੈ), ਤਰਕਮਯ ਮਾਡਲ o4-mini ਅਤੇ gpt-5 (RFT), ਅਤੇ ਖੁੱਲ੍ਹੇ ਸਰੋਤ ਮਾਡਲ ਜਿਵੇਂ ਕਿ Ministral-3B, Qwen-32B, Llama-3.3-70B-Instruct, ਅਤੇ gpt-oss-20b (SFT ਮਾਇਕ੍ਰੋਸੌਫਟ ਫਾਉਂਡਰੀ ਸਰੋਤਾਂ 'ਤੇ) ਸ਼ਾਮਿਲ ਹਨ। ਸਹਾਰਿਤ ਤਰੀਕੇ, ਖੇਤਰ ਅਤੇ ਉਪਲਬਧਤਾ ਲਈ ਹਮੇਸ਼ਾ ਮੌਜੂਦਾ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਮਾਡਲ ਸੂਚੀ ਨੂੰ ਚੈੱਕ ਕਰੋ।
ਫਾਉਂਡਰੀ ਦੋ ਮੋਡਾਲਿਟੀਆਂ ਦਿੰਦਾ ਹੈ: ਸਰਵਰਲੈੱਸ (ਖਪਤ-ਅਧਾਰਿਤ ਕੀਮਤ, ਕੋਈ GPU ਕੋਟਾ ਪ੍ਰਬੰਧ ਨਹੀਂ, OpenAI ਅਤੇ ਚੁਣੇ ਹੋਏ ਮਾਡਲ) ਅਤੇ ਮੇਨੇਜਡ ਕਮਪਿਊਟ (ਸਭ ਤੋਂ ਵਿਆਪਕ ਮਾਡਲ ਰੇਂਜ ਲਈ ਅਜ਼ੂਰੀ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਰਾਹੀਂ ਆਪਣੀ VM ਲਿਆਓ)। ਜ਼ਿਆਦਾਤਰ ਲੋਕਾਂ ਨੂੰ ਸਰਵਰਲੈੱਸ ਨਾਲ ਸ਼ੁਰੂਆਤ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ।
- ਪਹਿਲਾਂ ਬੇਸਲਾਈਨ. ਪ੍ਰੌਂਪਟ ਇੰਜੀਨੀਅਰਿੰਗ ਅਤੇ RAG ਨਾਲ ਬੇਸ ਮਾਡਲ ਨੂੰ ਮਾਪੋ ਇਸ ਤੋਂ ਪਹਿਲਾਂ ਕਿ ਤੁਸੀਂ ਫਾਈਨ-ਟਿਊਨ ਕਰੋ, ਤਾਂ ਜੋ ਤੁਹਾਨੂੰ ਲਾਭ ਸਾਬਿਤ ਕਰਨਾ ਆ ਸਕੇ।
- ਛੋਟੇ ਤੋਂ ਸ਼ੁਰੂ ਕਰੋ, ਫਿਰ ਵਧਾਓ. 50-100 ਉੱਚ-ਗੁਣਵੱਤਾ ਉਦਾਹਰਣਾਂ ਨਾਲ ਪਹੁੰਚ ਦੀ ਪੜਤਾਲ ਕਰੋ, ਫਿਰ 500+ ਤੱਕ ਵਧਾਓ ਪ੍ਰੋਡਕਸ਼ਨ ਲਈ। ਗੁਣਵੱਤਾ ਮਾਤਰਾ ਨਾਲੋਂ ਮਾੱਤਵਪੂਰਨ। ਗੁਣਵੱਤਾ ਘੱਟ ਉਦਾਹਰਣਾਂ ਨੂੰ ਹਟਾਓ।
- ਡਾਟਾ ਢਾਂਚਾ ਸਹੀ ਕਰੋ. ਟ੍ਰੇਨਿੰਗ ਅਤੇ ਵੈਰੀਫਿਕੇਸ਼ਨ ਫਾਈਲਾਂ JSONL, UTF-8 ਸਹ BOM ਨਾਲ, 512 MB ਤੋਂ ਘੱਟ, ਚੈਟ-ਕੰਪਲੀਸ਼ਨ ਸੁਨੇਹਾ ਫਾਰਮੈਟ ਵਿੱਚ ਹੋਣੀਆਂ ਚਾਹੀਦੀਆਂ ਹਨ। ਹਮੇਸ਼ਾ ਇੱਕ ਵੈਰੀਫਿਕੇਸ਼ਨ ਫਾਈਲ ਸ਼ਾਮਿਲ ਕਰੋ ਤਾਂ ਜੋ ਅਧਿਕਤਾ ਸਿਖਾਈ
overfittingਨੂੰ ਦੇਖ ਸਕੋ। - ਟ੍ਰੇਨਿੰਗ ਸਿਸਟਮ ਪ੍ਰੌਂਪਟ ਨੂੰ ਇਨਫਰੰਸ ’ਤੇ ਰੱਖੋ. ਮਾਡਲ ਨੂੰ ਕਾਲ ਕਰਦੇ ਸਮੇਂ ਇੱਕੋ ਸਿਸਟਮ ਸੁਨੇਹਾ ਬਰਤੋਂ ਜੋ ਤੁਸੀਂ ਟ੍ਰੇਨਿੰਗ ਦੌਰਾਨ ਵਰਤਿਆ ਸੀ।
- ਚੈਕਪੌਇੰਟਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕਰੋ - ਆਖਰੀ ਨੂੰ ਅੰਧ ਧਾਰਨਾ ਨਾਲ ਨਾ ਡਿਪਲੌਇ ਕਰੋ। ਫਾਉਂਡਰੀ ਆਖਰੀ ਤਿੰਨ ਈਪੋਕ ਨੂੰ ਡਿਪਲੌਇ ਕਰਨ ਯੋਗ ਚੈਕਪੌਇੰਟ ਵਜੋਂ ਰੱਖਦਾ ਹੈ; ਖੁਦ ਨੂੰ ਸਭ ਤੋਂ ਵਧੀਆ ਜਨਰਲਾਈਜ਼ ਕਰਨ ਵਾਲਾ ਚੁਣੋ
train_loss/valid_lossਅਤੇ ਟੋਕਨ ਸਹੀਤਾ ਨੂੰ ਦੇਖ ਕੇ। - ਟੋਕਨ ਲਾਗਤ ਨੂੰ ਗੁਣਵੱਤਾ ਦੇ ਨਾਲ ਮਾਪੋ ਜਦੋਂ ਤੁਸੀਂ ਫਾਈਨ-ਟਿਊਨ ਕੀਤੇ ਮਾਡਲ ਨੂੰ ਬੇਸਲਾਈਨ ਨਾਲ ਤੁਲਨਾ ਕਰ ਰਹੇ ਹੋ।
- ਲਗਾਤਾਰ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਨਾਲ ਦੁਹਰਾਓ. ਤੁਸੀਂ ਪਹਿਲਾਂ ਹੀ ਫਾਈਨ-ਟਿਊਨ ਕੀਤਾ ਮਾਡਲ ਨਵੇਂ ਡੇਟਾ 'ਤੇ ਦੂਜੀ ਵਾਰ ਫਾਈਨ-ਟਿਊਨ ਕਰ ਸਕਦੇ ਹੋ (OpenAI ਮਾਡਲਾਂ ਲਈ ਸਹਾਰਾ).
- ਹੋਸਟਿੰਗ ਲਾਗਤਾਂ ਦਾ ਧਿਆਨ ਰੱਖੋ. ਇੱਕ ਡਿਪਲੌਇਡ ਕਸਟਮ ਮਾਡਲ ਪ੍ਰਤੀ ਘੰਟਾ ਬਿੱਲ ਕਰਦਾ ਹੈ, ਅਤੇ ਗੈਰ-ਸਰਗਰਮ ਡਿਪਲੌਇਮੈਂਟ 15 ਦਿਨਾਂ ਬਾਅਦ ਹਟਾ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ - ਜਰੂਰੀ ਨਾ ਹੋਣ ਵਾਲੀਆਂ ਚੀਜ਼ਾਂ ਨੂੰ ਸਾਫ਼ ਕਰੋ।
ਪੂਰੇ ਮਾਰਗਦਰਸ਼ਨ ਲਈ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਨਾਲ ਮਾਡਲ ਨੂੰ ਕਸਟਮਾਈਜ਼ ਕਰੋ 'ਤੇ ਕੰਮ ਕਰੋ, ਅਤੇ ਹੇਠਾਂ ਦਿੱਤੇ ਦੂਜੇ ਤਰੀਕਿਆਂ ਲਈ DPO ਅਤੇ RFT ਗਾਈਡ ਵੀ ਵੇਖੋ ਜਦੋਂ ਤੁਸੀਂ ਤਿਆਰ ਹੋਵੋਗੇ।
ਹੇਠਾਂ ਦਿੱਤੇ ਸਰੋਤ ਕਦਮ-ਬਦ-কਦਮ ਟਿਊਟੋਰੀਅਲ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ, ਜੋ ਤੁਹਾਨੂੰ ਇੱਕ ਹਾਲ ਹੀ ਵਿੱਚ ਸਹਾਇਕ ਮਾਡਲ ਤੇ ਇੱਕ ਚੁਣੀ ਹੋਈ ਡੇਟਾਸੈੱਟ ਨਾਲ ਅਸਲ ਉਦਾਹਰਣ 'ਤੇ ਚੱਲਣਗੇ। ਇਹਨਾਂ 'ਤੇ ਕੰਮ ਕਰਨ ਲਈ, ਤੁਹਾਡੇ ਕੋਲ ਇਸ ਵਿਸ਼ੇਸ਼ ਪ੍ਰਦਾਤਾ 'ਤੇ ਖਾਤਾ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ, ਨਾਲ ਹੀ ਸੰਬੰਧਿਤ ਮਾਡਲ ਅਤੇ ਡੇਟਾਸੈੱਟਾਂ ਤੱਕ ਪਹੁੰਚ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ।
| ਪ੍ਰਦਾਤਾ | ਟਿਊਟੋਰੀਅਲ | ਵੇਰਵਾ |
|---|---|---|
| OpenAI | ਕਿਵੇਂ ਚੈਟ ਮਾਡਲਾਂ ਨੂੰ ਫਾਈਨ-ਟਿਊਨ ਕਰਨਾ ਹੈ | ਇੱਕ ਨਵੀਂ OpenAI ਚੈਟ ਮਾਡਲ ਨੂੰ ਕਿਸੇ ਖਾਸ ਡੋਮੇਨ ("ਰੇਸਿਪੀ ਅਸਿਸਟੈਂਟ") ਲਈ ਫਾਈਨ-ਟਿਊਨ ਕਰਨਾ ਸਿੱਖੋ: ਟ੍ਰੇਨਿੰਗ ਡਾਟਾ ਤਿਆਰ ਕਰਨਾ, ਫਾਈਨ-ਟਿਊਨਿੰਗ ਜੌਬ ਚਲਾਉਣਾ, ਅਤੇ ਫਾਈਨ-ਟਿਊਨ ਕੀਤੇ ਮਾਡਲ ਨੂੰ ਇਨਫਰੰਸ ਲਈ ਵਰਤਣਾ। |
| Microsoft Foundry | ਫਾਈਨ-ਟਿਊਨਿੰਗ ਨਾਲ ਮਾਡਲ ਨੂੰ ਕਸਟਮਾਈਜ਼ ਕਰੋ | ਮਾਇਕ੍ਰੋਸੌਫਟ ਫਾਉਂਡਰੀ 'ਤੇ ਇੱਕ ਹਾਲਤ ਵਿੱਚ ਸਹਾਇਕ ਮਾਡਲ ਜਿਵੇਂ ਕਿ gpt-4.1-mini ਨੂੰ ਫਾਈਨ-ਟਿਊਨ ਕਰਨਾ ਸਿੱਖੋ: ਟ੍ਰੇਨਿੰਗ ਅਤੇ ਵੈਰੀਫਿਕੇਸ਼ਨ ਡਾਟਾ ਤਿਆਰ ਅਤੇ ਅੱਪਲੋਡ ਕਰੋ, ਫਾਈਨ-ਟਿਊਨਿੰਗ ਜੌਬ ਚਲਾਓ, ਫਿਰ ਨਵੇਂ ਮਾਡਲ ਨੂੰ ਡਿਪਲੌਇ ਤੇ ਵਰਤੋ। |
| Hugging Face | Hugging Face ਨਾਲ LLMs ਦਾ ਫਾਇਨ-ਟਿਊਨਿੰਗ | ਇਹ ਬਲੌਗ ਪੋਸਟ ਤੁਹਾਨੂੰ ਇੱਕ ਓਪਨ LLM (ਜਿਵੇਂ ਕਿ: CodeLlama 7B) ਨੂੰ transformers ਲਾਇਬ੍ਰੇਰੀ ਅਤੇ Transformer Reinforcement Learning (TRL) ਨਾਲ Hugging Face ਉੱਤੇ ਖੁੱਲ੍ਹੇ ਡੇਟਾਸੈੱਟ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਫਾਇਨ-ਟਿਊਨ ਕਰਨ ਦਾ ਤਰੀਕਾ ਦੱਸਦਾ ਹੈ। |
| 🤗 AutoTrain | AutoTrain ਨਾਲ LLMs ਦਾ ਫਾਇਨ-ਟਿਊਨਿੰਗ | AutoTrain (ਜਾਂ AutoTrain Advanced) Hugging Face ਦੁਆਰਾ ਵਿਕਸਤ ਇੱਕ ਪਾਇਥਨ ਲਾਇਬ੍ਰੇਰੀ ਹੈ ਜੋ ਵੱਖ-ਵੱਖ ਕੰਮਾਂ ਲਈ ਫਾਇਨ-ਟਿਊਨਿੰਗ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ ਜਿਸ ਵਿੱਚ LLM ਫਾਇਨ-ਟਿਊਨਿੰਗ ਵੀ ਸ਼ਾਮਲ ਹੈ। AutoTrain ਇੱਕ ਬਿਨਾ ਕੋਡ ਦੇ ਹੱਲ ਹੈ ਅਤੇ ਫਾਇਨ-ਟਿਊਨਿੰਗ ਤੁਹਾਡੇ ਆਪਣੇ ਕਲਾਉਡ ਵਿੱਚ, Hugging Face Spaces ਉੱਤੇ ਜਾਂ ਲੋਕਲ ਤੋਂ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ। ਇਹ ਵੈੱਬ-ਆਧਾਰਤ GUI, CLI ਅਤੇ yaml ਕੌਂਫਿਗ ਫਾਇਲਾਂ ਰਾਹੀਂ ਟ੍ਰੇਨਿੰਗ ਦੋਹਾਂ ਨੂੰ ਸਪੋਰਟ ਕਰਦਾ ਹੈ। |
| 🦥 Unsloth | Unsloth ਨਾਲ LLMs ਦਾ ਫਾਇਨ-ਟਿਊਨਿੰਗ | Unsloth ਇੱਕ ਖੁੱਲ੍ਹਾ-ਸੋਰਸ ਫ੍ਰੇਮਵਰਕ ਹੈ ਜੋ LLM ਫਾਇਨ-ਟਿਊਨਿੰਗ ਅਤੇ ਰੀਇਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ (RL) ਦਾ ਸਹਾਰਾ ਦਿੰਦਾ ਹੈ। Unsloth ਸਥਾਨਕ ਟ੍ਰੇਨਿੰਗ, ਮੁਲਾਂਕਣ ਅਤੇ ਡਿਪਲੋਇਮੈਂਟ ਨੂੰ ਤਿਆਰ ਨੋਟਬੁੱਕਾਂ ਨਾਲ ਸਹਿਜ ਬਣਾਉਂਦਾ ਹੈ। ਇਹ ਟੈਕਸਟ-ਟੂ-ਸਪੀਚ (TTS), BERT ਅਤੇ ਮਲਟੀਮੋਡਲ ਮਾਡਲਾਂ ਨੂੰ ਵੀ ਸਹਾਰਾ ਦਿੰਦਾ ਹੈ। ਸ਼ੁਰੂ ਕਰਨ ਲਈ, ਉਨ੍ਹਾਂ ਦੇ ਕਦਮ-ਦਰ-ਕਦਮ ਫਾਇਨ-ਟਿਊਨਿੰਗ LLMs ਮਾਰਗਦਰਸ਼ਨ ਨੂੰ ਪੜ੍ਹੋ। |
ਉਪਰੋਕਤ ਟਿਊਟੋਰਿਯਲਾਂ ਵਿੱਚੋਂ ਕਿਸੇ ਇੱਕ ਨੂੰ ਚੁਣੋ ਅਤੇ ਉਨ੍ਹਾਂ ਨੂੰ ਸਮਝੋ। ਅਸੀਂ ਇਹ ਟਿਊਟੋਰਿਯਲਾਂ ਦਾ ਇੱਕ ਵਰਜ਼ਨ ਇਸ ਰਿਪੋ ਵਿੱਚ ਸਿਰਫ ਸੰਦਰਭ ਲਈ Jupyter ਨੋਟਬੁੱਕਾਂ ਵਿੱਚ ਦੁਹਰਾਵਾਂਗੇ। ਕ੍ਰਿਪਾ ਕਰਕੇ ਸਭ ਤੋਂ ਨਵੇਂ ਵਰਜ਼ਨ ਲਈ ਮੂਲ ਸਰੋਤਾਂ ਦੀ ਸਿੱਧੀ ਵਰਤੋਂ ਕਰੋ।
ਇਸ ਪਾਠ ਨੂੰ ਪੂਰਾ ਕਰਨ ਮਗਰੋਂ, ਸਾਡੀ ਜਨਰੇਟਿਵ AI ਲਰਨਿੰਗ ਕਲੇਕਸ਼ਨ ਨੂੰ ਦੇਖੋ ਤਾਂ ਜੋ ਤੁਸੀਂ ਆਪਣਾ ਜਨਰੇਟਿਵ AI ਗਿਆਨ ਹੋਰ ਵਧਾ ਸਕੋ!
ਵਧਾਈਆਂ!! ਤੁਸੀਂ ਇਸ ਕੋਰਸ ਦੀ v2 ਸੀਰੀਜ਼ ਦਾ ਆਖਰੀ ਪਾਠ ਪੂਰਾ ਕਰ ਲਿਆ ਹੈ! ਸਿੱਖਣਾ ਅਤੇ ਬਣਾਉਣਾ ਬੰਦ ਨਾ ਕਰੋ। **ਇਸ ਵਿਸ਼ੇ ਲਈ ਵਾਧੂ ਸੁਝਾਵਾਂ ਲਈ RESOURCES ਪੰਨਾ ਵੇਖੋ।
ਸਾਡੀ v1 ਸੀਰੀਜ਼ ਦੇ ਪਾਠਾਂ ਨੂੰ ਵੀ ਹੋਰ ਅਸਾਈਨਮੈਂਟ ਅਤੇ ਧਾਰਣਾਵਾਂ ਨਾਲ ਅਪਡੇਟ ਕੀਤਾ ਗਿਆ ਹੈ। ਇਸ ਲਈ ਆਪਣੇ ਗਿਆਨ ਨੂੰ ਤਾਜ਼ਾ ਕਰਨ ਲਈ ਇੱਕ ਮਿੰਟ ਲਵੋ - ਅਤੇ ਕਿਰਪਾ ਕਰਕੇ ਸਾਡੇ ਨਾਲ ਸਵਾਲ ਅਤੇ ਪ੍ਰਤੀਕਿਰਿਆ ਸਾਂਝਾ ਕਰੋ ਤਾਂ ਜੋ ਅਸੀਂ ਕਮਿਊਨਿਟੀ ਲਈ ਇਹ ਪਾਠ ਹੋਰ ਸੁਧਾਰ ਸਕੀਏ।
ਅਸਵੀਕਾਰੋਪਣ: ਇਸ ਦਸਤਾਵੇਜ਼ ਦਾ ਅਨੁਵਾਦ ਏਆਈ ਅਨੁਵਾਦ ਸੇਵਾ Co-op Translator ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕੀਤਾ ਗਿਆ ਹੈ। ਜਦੋਂ ਕਿ ਅਸੀਂ ਸਹੀਤਾਵਾਂ ਲਈ ਯਤਨਸ਼ੀਲ ਹਾਂ, ਕਿਰਪਾ ਕਰਕੇ ਧਿਆਨ ਰੱਖੋ ਕਿ ਸਵੈਚਾਲਿਤ ਅਨੁਵਾਦਾਂ ਵਿੱਚ ਗਲਤੀਆਂ ਜਾਂ ਅਸਮੱਤਿਆਵਾਂ ਹੋ ਸਕਦੀਆਂ ਹਨ। ਮੂਲ ਦਸਤਾਵੇਜ਼ ਆਪਣੀ ਮੂਲ ਭਾਸ਼ਾ ਵਿੱਚ ਅਧਿਕਾਰਕ ਸਰੋਤ ਮੰਨਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਜਰੂਰੀ ਜਾਣਕਾਰੀ ਲਈ, ਪੇਸ਼ੇਵਰ ਮਨੁੱਖੀ ਅਨੁਵਾਦ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਅਸੀਂ ਇਸ ਅਨੁਵਾਦ ਦੇ ਉਪਯੋਗ ਤੋਂ ਪੈਦਾ ਹੋਣ ਵਾਲੀਆਂ ਕਿਸੇ ਵੀ ਗਲਤਫਹਿਮੀਆਂ ਜਾਂ ਗਲਤ ਵਿਆਖਿਆਵਾਂ ਲਈ ਜਵਾਬਦੇਹ ਨਹੀਂ ਹਾਂ।