नया ओपन सोर्स चैटजीपीटी क्लोन - डॉली कहलाया।

डेटाब्रिक्स एंटरप्राइज सॉफ्टवेयर कंपनी द्वारा बनाए गए डॉली लार्ज भाषा मॉडल (DLL) के रिलीज के साथ ओपन सोर्स जीपीटी चैट ने एक और कदम आगे बढ़ाया।

नया चैटजीपीटी क्लोन 'डॉली' कहलाता है, जिसका नाम उस प्रसिद्ध भेड़ के नाम पर है, जो क्लोन किए जाने वाले पहले प्राणिस है।

ओपन सोर्स बड़े भाषा मॉडल

डॉली एलएलएम वृद्धि से हो रही खुले स्रोत एआई आंदोलन की नवीनतम प्रतिष्ठा है जो यह प्रयास करता है कि इस प्रौद्योगिकी का उपयोग बड़ी कंपनियों द्वारा अधिकारित और नियंत्रित नहीं हो।

ओपन सोर्स AI आंदोलन को चलाने वाली एक चिंता यह है कि व्यवसायों को AI प्रौद्योगिकी को नियंत्रित करने वाली थर्ड पार्टी को संवेदनशील डेटा सौंपने में हिचकिचाहट हो सकती है।

ओपन सोर्स पर आधारित

डॉली को गैर-लाभकारी एलूथेरआई रिसर्च इंस्टिट्यूट और स्टैनफोर्ड विश्वविद्यालय के अल्पाका मॉडल द्वारा बनाए गए ओपन सोर्स मॉडल से बनाया गया था, जो खुद मेटा द्वारा बनाए गए 65 बिलियन पैरामीटर वाले ओपन सोर्स एलएमएमए मॉडल से बनाया गया था।

एलएलएएमए, जो बड़ी भाषा मॉडल मेटा एआई के लिए खड़ा होता है, अदाकार सुलभ डेटा पर प्रशिक्षित होने वाला एक भाषा मॉडल है।

वर्गन और बाडी के एक लेख के अनुसार, LLaMA अपनी छोटी आकार के बावजूद कई शीर्ष भाषा मॉडलों (ओपनएआई जीपीटी-3, गोफर द्वारा डीप माइंड और चिंचिला द्वारा डीपमाइंड) को पीछे छोड़ सकता है।

एक बेहतर डेटासेट बनाना

एक और प्रेरणा एक शैक्षणिक अनुसंधान पत्र से आई, जिसका नाम है SELF-INSTRUCT: Aligning Language Model with Self Generated Instructions PDF। इसमें एक ऐसा तरीका बताया गया है जिससे उच्च गुणवत्ता वाली आपस्त्रेत सवाल और जवाब के प्रशिक्षण डाटा बनाया जा सकता है जो सीमित सार्वजनिक डेटा से बेहतर होता है।

स्व-शिक्षा संबंधित अनुसंधान पत्रक यह व्याख्या करता है:

“...हम नवीन कार्यों के लिए विशेषज्ञ द्वारा लिखी गई निर्देशों का एक सेट इंटरनेट पर योग्यताओं के रूप में प्रस्तुत करते हैं, और मानव मूल्यांकन के माध्यम से साबित करते हैं कि SELF-INSTRUCT का उपयोग करके GPT3 को बड़े पैमाने पर मौजूदा सार्वजनिक निर्देश डेटासेट का उपयोग करने से अधिक बेहतर परिणाम प्राप्त होते हैं, बस InstructGPT से केवल 5% अधीनता छोड़ते हैं...

...वेनिला GPT3 पर हमारी विधि का लागू करने से, हम SUPERNATURALINSTRUCTIONS पर मूल मॉडल की तुलना में 33% अधीनता सुनिश्चित करते हैं, जो InstructGPT के प्रदर्शन के समान है... जो निजी उपयोगकर्ता डेटा और मानव मंजूरी के साथ प्रशिक्षित किया जाता है।”

डॉली का महत्व यह है कि यह दिखाता है कि एक उपयोगी बड़ी भाषा मॉडल को एक छोटे लेकिन उच्च गुणवत्ता वाले डेटासेट के साथ बनाया जा सकता है।

Databricks देखता है:

"डॉली का कार्य होता है कि वह EleutherAI से एक मौजूदा ओपन सोर्स 6 बिलियन पैरामीटर मॉडल लेती है और इसे थोड़ी सी मात्रा में संशोधित करके उसमें विचारों को उठाने और पाठ उत्पादन जैसी निर्देशानुसार क्षमताओं को उत्पन्न करती है, जो मूल मॉडल में मौजूद नहीं है, Alpaca के डेटा का उपयोग करते हुए।

"

हम दिखाते हैं कि कोई भी डेटेड ऑफ़-द-शेल्फ़ ओपन सोर्स बड़ी भाषा मॉडल (LLM) ले सकता है और उसे एक मशीन पर 30 मिनट में प्रशिक्षण देकर यह जादूई ChatGPT जैसी निर्देशिका अनुसरण क्षमता दे सकता है, उच्च गुणवत्ता वाले प्रशिक्षण डेटा का उपयोग करते हुए।

ताजगी से, निर्देश-पालन करने के लिए प्रामाणिकता या बड़े मॉडल की आवश्यकता नहीं लगती: हमारा मॉडल केवल 6 अरब पैरामीटर है, जबकि GPT-3 के लिए 175 अरब पैरामीटर है।"

डेटाब्रिक्स ओपन सोर्स एआई

डॉली कहा जाता है कि एआई को लोकतांत्रिक बनाने का प्रयास किया जाता है। इससे पहले यह आन्दोलन हुआ था जिसमें गैर-लाभकारी संगठन मोज़िला संगठन ने मोज़िला.एआई के साथ शामिल हो गया। मोज़िला फ़ायरफ़ॉक्स ब्राउज़र और अन्य ओपन सोर्स सॉफ़्टवेयर के प्रकाशक है।