जीपीटी-3 क्या है? ओपनएआई के प्रभावशाली एआई भाषा कार्यक्रम के बारे में आपके व्यावसायिक जानने की सभी जरूरतें

GPT-3 एक कंप्यूटर प्रोग्राम है जिसे निजी रूप से संयुक्त राज्य अमेरिका की सैन फ्रांसिस्को स्थित स्टार्टअप "ओपनएआई" द्वारा बनाया गया है। यह एक विशालकारी संज्ञानात्मक नेटवर्क है, और इस प्रकार यह मशीन लर्निंग के गहरे अध्ययन के हिस्से है, जो स्वयं एक उद्योग की रूपरेखा का हिस्सा है, जिसे कंप्यूटर विज्ञान ज्ञान का शाखा भी कहा जाता है। यह प्रोग्राम किसी भी पूर्व प्रोग्राम से बेहतर है जो मनुष्य द्वारा लिखे गए हो सकते हैं ऐसा लगने वाला पाठ उत्पन्न करने में।

ऐसा ब्रेकथ्रू उद्यमों के लिए उपयोगी हो सकता है क्योंकि इसमें कार्यों को स्वचालित करने की बड़ी संभावना होती है। जीपीटी-3 किसी भी पाठ का प्रतिशत संदर्भ के मुताबिक कंप्यूटर में टंकित होने वाले किसी भी पाठ के साथ नए पाठ के साथ प्रतिक्रिया कर सकता है। किसी भी पूरी अंग्रेजी वाक्य को एक सर्च बॉक्स में टाइप करें, उदाहरण के लिए, और आपको उससे संबंधित कुछ पूरी वाक्यों की प्रतिक्रिया मिलने की संभावना अधिक हो जाती है। इसका मतलब है कि जीपीटी-3 मानव प्रयास को व्यापक विविधताओं में बढ़ा सकता है, जैसे कि ग्राहक सेवा के लिए प्रश्न और उत्तर, सामजिक और विधिमान्यता दस्तावेज़ खोज और रिपोर्ट तैयारी।

निम्नलिखित संक्षेप में देखें कि कोई व्यक्ति कंप्यूटर में क्या टाइप करता है और कैसे GPT-3 एक जवाब भेजता है:

मनुष्य द्वारा दिया गया इनपुट: क्या? कौन टच्ड बाय एन एंजेल पर टेस ने अदा की?

GPT-3-generated समापन: A: डीलोरीज़ पैट्रिशा ईयर्ली (6 जुलाई, 1931 - 19 नवम्बर, 2017), जिन्हें पेशेवर रूप से डेला रीस के नाम से जाना जाता है।

हाल के अभ्यास के लिए यह कार्यक्रम निजी बीटा स्थिति में है, जिसके लिए लोग वेटलिस्ट पर साइन अप कर सकते हैं। यह OpenAI द्वारा उपयोगकर्ताओं के लिए एक API के रूप में प्रदान किया जा रहा है जिसका उपयोग बादल पर पहुंचने के माध्यम से किया जा सकता है, और जिन कंपनियों को पहुंच मिल गई है, वे पाठ की पीढ़ी का उपयोग करके रोचक अनुप्रयोगों को विकसित कर चुकी हैं, साधारित प्रश्नों के उत्तर देने से लेकर प्रोग्रामिंग कोड उत्पादित करने तक, सभी प्रकार के कार्यक्रमों को सुधारने के लिए पाठ पीढ़ी का प्रयोग करते हैं।

ऑटोमेशन की संभावना के साथ बड़ी कई कमियां भी हैं। GPT-3 कम्प्यूट को अधिक खाना पसंद करता है, जिसके कारण इसे अधिकांश कंपनियों के लिए किसी भी संभावित प्रीमिस का उपयोग करना मुश्किल है। इसका उत्पन्न किया गया पाठ पहले नज़र में अद्भुत हो सकता है, लेकिन लंबी कॉम्पोज़िशन में वह कुछ अवचेतन साबित हो सकती है। और इसमें रेसिज्म और सेक्सिज़्म जैसे समकालितताओं को बढ़ाने की बड़ी संभावना होती है।

GPT-3 कैसे काम करता है?

GPT-3 एक उदाहरण है जो किसे भाषा मॉडल के रूप में जाना जाता है, जो एक विशेष प्रकार का सांख्यिकीय प्रोग्राम है। इस मामले में, इसे एक न्यूरल नेटवर्क के रूप में बनाया गया था।

नाम GPT-3 का एक योजना है जो "जेनरेटिव प्री-ट्रेनिंग" के लिए खड़ी हुई है, जिसका तीसरा संस्करण अब तक है। यह जेनरेटिव है क्योंकि इसके उत्पाद में अन्य संवेजी नेटवर्क के अलावा कोई संख्यात्मक स्कोर या हां या नहीं जवाब नहीं निकालता है, GPT-3 मूल पाठ के लंबे सीरीज को उत्पन्न कर सकता है। इसकी प्री-ट्रेनिंगी इसलिए होती है क्योंकि इसमें किसी डोमेन ज्ञान के साथ नहीं बनाया गया है, हालांकि यह क्षेत्र-विशिष्ट कार्यों, जैसे विदेशी भाषा अनुवाद, को पूरा कर सकता है।

एक भाषा मॉडल, GPT-3 के मामले में, एक प्रोग्राम है जो पाठ में दूसरे शब्दों के साथ दिए गए अन्य शब्दों में एक शब्द के दिखने की कितनी संभावना होने की गणना करता है। यही वह कोई शब्द की शर्त प्रायिकता के रूप में जाना जाता है।

उदाहरण के लिए, वाक्य में, मैं वितरक बनाना चाहता था, इसलिए मैं फ्रिज में गया और कुछ ____ निकाल लिया, खाली स्थान को किसी भी शब्द द्वारा भरा जा सकता है, यहां तक ​​कि अनंत भाषा की अवयवता के चलते एनी भी अर्थहीन शब्द। लेकिन शब्द "अंडे" इस रिक्त स्थान को भरने के लिए बहुत ही समान्य पाठों में अच्छा स्कोर करता है, "हाथी" की तुलना में अधिक। हम कहते हैं कि प्रेरित पाठ की स्थिति पर अंडों की प्रायवृत्ति हाथियों की प्रायवृत्ति से अधिक होती है।

जब न्यूरल नेटवर्क विकसित किया जाता है, जिसे प्रशिक्षण चरण कहा जाता है, GPT-3 को लाखों और लाखों वाक्य लेकर खिलाया जाता है और इसे वे कथन, संख्यात्मक प्रतिस्थापनाओं के रूप में परिवर्तित कर देता है। यह डेटा संक्षेप करने का एक प्रकार होता है। उसके बाद, कार्यक्रम इस संकुचित पाठ को वापस एक मान्य वाक्य में अनपैक करने की कोशिश करता है। शब्दों की शर्तयुक्त प्रायिकता की गणना करने में कार्यक्रम की सटीकता का विकास होता है।

जब मॉडल प्रशिक्षित हो जाता है, अर्थात्, जब इसके गणितीय संभाव्यता के अनुसार अरबों शब्दों के लिए सुधारित कर दिए जाते हैं, तो फिर यह पहचान सकता है कि जब किसी व्यक्ति द्वारा शुरुआती शब्द या शब्दों को टाइप करने से पहले इसे प्रश्नित किया जाता है तो आगे कौन से शब्द आते हैं। यह पूर्वाभ्यास के रूप में मशीन लर्निंग में "इन्फ़रेंस" के रूप में जाना जाता है।

यह एक प्रभावशाली दर्पण प्रभाव लाता है। न केवल अनुमानित शब्द प्रकट होते हैं, बल्कि एक प्रकार के लेखानुसार किसी शैली की बर्फ या छंद या एक लिखित कार्य के सार। उदाहरण के लिए, GPT-3 को कुछ प्रसिद्ध कवियों के नाम और उनके कामों के नमूने खिलाया जा सकता है, फिर किसी और कवि का नाम और केवल एक काव्य का शीर्षक दिया जा सकता है, और GPT-3 उस कवि की ध्मा और वाक्यविन्यास के साथ एक नया कविता उत्पन्न करेगा जिसका संकेत दिया गया है।

निम्नलिखित GPT-3 के संकलन को विचार करें जो खाली से एक कविता बना रहा है जो वालेस स्टीवेंस कार्य की तरह है, उन्हें शीर्षक, नाम और अन्य कवियों के उदाहरण और उनके कार्य की पर्याप्तता प्रदान की जाती है:

मनुष्य द्वारा दिया गया इनपुट: द शहर  BY C. पी. कवफी  अनुवादित द्वारा एडमंड कीली [कविता पाठ छोड़ दिया गया]

मानव-प्रदान इनपुट: कुछ पेड़ जॉन एशबरी [कविता का पाठ छोड़ा गया]

 मानव-प्रदान इनपुट : राही पर छायाएँ वालेस स्टीवन्स

GPT-3-जनित पूर्ति : -------- पूर्ति की गई कविता 1 --------   मुझे राह पर छायाएँ होनी चाहिए  अगर मैं चलना चाहता हूँ  हर कदम धीरे से और अकेले उठाए जाए चाहिए   इसे मुझे तैयार चाहिए    और मुझे ग्रे रंग की सोच करनी चाहिए  धुंधले ख़्यालों को मेरा मार्गदर्शन करने के लिए  नीले और हरे पर देखना चाहिए  और कभी अपनी आंख भूलने नहीं देनी  कि रंग मेरा दोस्त है  और बैंगनी भी मुझे घेरती है  सूरज का पीला रंग उससे अधिक  प्रवासी होता है  प्रेषित हम सब पर पड़ती है। मेरे साथ चलने के लिए  ग्रे ख़्यालों और नीले ख़्यालों की जरूरत है   अगर मैं जाना चाहता हूँ।

उत्पन्न करना यह अर्थात GPT-3 सिर्फ लिखना प्रस्तुत करने से बहुत आगे जा सकता है। यह प्राकृतिक भाषा के प्रतिक्रिया सम्बंधित मानदंडों के साथ तर्क के परीक्षण की सभी प्रकार का कार्य कर सकता है। यदि, उदाहरण के लिए, GPT-3 को मैनहट्टन किराए पर आने वाली संपत्तियों की किराए की दरों के बारे में एक निबंध दिया जाता है, और एक बयान जो इस पाठ को सारांशित करता है, जैसे "मैनहट्टन सस्ते में मिलता है," और सवाल "सही है या ग़लत?" है, तो GPT-3 तब पूरी प्रॉम्प्ट का जवाब देता है और उसे "ग़लत" शब्द के रूप में वापस रिटर्न करता है, क्योंकि यह बयान निबंध की विचारधारा से मेल नहीं खाता।

मानविकित इनपुट : कुछ न्यूयॉर्क के समुदाय इस बात का दुख व्यक्त कर रहे हैं कि कुछ पसंदीदा स्थानीय व्यापारियों को महंगे किराये की वजह से खो रहे हैं, इसलिए नये सस्ते किराये का मोड़ बहुत अचरज़नीय लग सकता है। लेकिन हालांकि हाल ही में कीमतों में कमी आने के बावजूद, कई इन खुदरा व्यापारियों के लिए अभी भी देर से ही किराए की दर के बहुत अधिक वृद्धि हुई है, जब उनके किराया समझोते किए गए थे, 1970 के दशक के बाद। निश्चित ही, कीमतों में हाल ही में गिरावट आना इसका सशुल्क नहीं है कि मैंहटन सस्ता हो जाता है।

मानव-प्रदानित प्रविष्टि: प्रश्न: मैनहट्टन सस्ता होता है। सच, झूठ या कोई नहीं?

इंसान से प्रदान किया गया इनपुट: जवाब: 

GPT-3 जेएनिरेट की गई पूर्ति : निराधार

GPT-3 की क्षमता एक उदाहरण कार्य के संगत तरीके में प्रतिक्रिया करने की है, जिसमें यह कभी पहले संपर्क में नहीं आया था। इसके बजाय किसी निर्धारित कार्य पर व्यायामयोग्य रूप से त्यार किया गया है, जैसा कि इसे "तालिश" कहा जाता है, GPT-3 के पास पहले से ही कई तरीकों के बारे में बहुत सारी जानकारी होती है जिन शब्दों का संयोजन करते हैं। इसे किसी कार्य के बारे में केवल कुछ ही उदाहरण दिए जाते हैं, जिसे "तुणक अभिप्रेषण" कहा जाता है, और यह नए कार्य को भी करने की क्षमता प्राप्त कर लेता है।

प्राकृतिक भाषा शैलियों को मिरर करने और भाषा पर आधारित परीक्षाओं में उच्च स्कोर पाने की क्षमता, इस संबंध में भाषा के साथ मानव-जैसी क्षमता की एक प्रकार की छवि देने की प्रतीति दे सकती है। हमें देखने के लिए, यह मामला ऐसा नहीं है।

और तकनीकी विवरण OpenAI वैज्ञानिकों द्वारा जारी किए गए आधिकारिक GPT-3 पेपर में मिल सकते हैं।

GPT-3 क्या कर सकता है?

OpenAI अब अपने कोड की रिलीज प्रैक्टिस के लिए सितारों की तरह प्रसिद्ध -- या दीशा से बेड़ियां चढ़ने वाले तरह -- बन गया है। कंपनी ने GPT-2, पूर्ववर्ती को 2019 के वेलेंटाइन डे को उद्घाटन किया था, लेकिन पहली बार महत्त्वपूर्ण संस्करण को सार्वजनिक तौर पर रिलीज नहीं किया गया था, इसका कहना था कि यह खतरनाक हो सकता है क्योंकि इससे झूठे और भ्रामक पाठ की बहुमान्यता की मास्स प्रदर्शनी का खतरा है। OpenAI ने बाद में इसे डाउनलोड के लिए उपलब्ध करा दिया है।

इस बार, OpenAI कोई डाउनलोड प्रदान नहीं कर रहा है। इसके बजाय, यह एक क्लाउड-आधारित API एंडप्वाइंट सक्षम कर रहा है, जिससे GPT-3 को as-a-service प्रस्ताव बना दिया गया है। (इसे LMaaS, language-model-as-a-service के रूप में सोचें।) OpenAI के दावे के मुताबिक, इसका कारण बुरे तत्वों द्वारा GPT-3 के उपयोग को सीमित करना और पैसे कमाना है।

ओपन सोर्स के साथ कोई 'अन्डू बटन' नहीं होता है," ओपनएआई ने एक प्रवक्ता के माध्यम से ZDNet को बताया।

"एपीआई के माध्यम से GPT-3 को रिलीज़ करने से हमें इसके उपयोग को सुरक्षित रूप से नियंत्रित करने और आवश्यकता के मुताबिक उसका उपयोग वापस लेने की सुविधा मिलती है।"

वर्तमान में, OpenAI API सेवा सीमित मंजूरी प्राप्त दलों तक ही है; पहुंच प्राप्त करने के लिए एक प्रतीक्षा सूची होती है जिसमें शामिल हो सकते हैं।

"वर्तमान में, एपीआई नियंत्रित बीटा में है जहाँ एक छोटी संख्या के डेवलपर्स एपीआई का उपयोग करके उत्पादन के लिए कुछ ऐसा लाने के लिए एक विचार सबमिट करते हैं," ओपनएआई ने ZDNet से कहा।

इसके अलावा: OpenAI का 'खतरनाक' AI पाठ उत्पादक लॉन्च हो गया है: लोगों को शब्द 'प्रभावशाली' लगते हैं

बीटा कार्यक्रम में एक्साइट प्राप्त करने वाली कंपनियों में दिलचस्प उदाहरण हैं। साप्लिंग, जो वेंचर फंड वाय कॉम्बिनेटर के द्वारा समर्थनित है, एक प्रोग्राम पेश करती है जो सीआरएम सॉफ़्टवेयर के ऊपर बैठता है। जब कोई ग्राहक प्रतिनिधि एक इनबाउंड हेल्प अनुरोध का सम्पादन कर रहा होता है, कहीं तो ईमेल के माध्यम से, तो प्रोग्राम जीपीटी-3 का उपयोग करके सबसे संभावित उत्तरों में से एक पूरी वाक्यांश की सिफारिश करता है।

गेम निर्माता लैटीट्यूड, AI Dungeon को बेहतर बनाने के लिए GPT-3 का उपयोग कर रहा है। सामान्यतः, एक एडवेंचर गेम को खेल के माध्यम से कई संभावित रास्तों के लिए एक जटिल निर्णय पेड़ की आवश्यकता होती है। इसके बजाय, GPT-3 उपयोगकर्ताओं के टाइप किए गए कार्रवाइयों के प्रतिक्रिया में खेल की बदलती हुई स्थिति को गतिमान रूप से उत्पन्न कर सकता है।

पहले से ही, कार्य ऑटोमेशन प्राकृतिक भाषा से आगे बढ़ रहा है ताकि कंप्यूटर कोड बनाया जा सके। कोड एक भाषा होती है, और GPT-3 विभिन्न प्रोग्रामिंग भाषाओं में ऑपरेटर और ऑपरेंड की सबसे संभावित सिंटेक्स को अनुमान लगा सकता है, और यह ऐसी पाठविधियों को उत्पन्न कर सकता है जो सफलतापूर्वक संकलित और चलाई जा सकती हैं।

ट्विटर-वर्स को पहले ही एक उदाहरण दिखा, जो एप्लिकेशन डेवलपमेंट स्टार्टअप डीबिल्ड से आयोजित हुआ था। कंपनी के मुख्य, शरीफ शमीम, संचालित करने के लिए एक प्रोग्राम तैयार कर सकते थे, जहाँ आप वास्तविक अंग्रेजी में एक सॉफ्टवेयर UI का विवरण टाइप करते हैं, और GPT-3 JSX सिंटेक्स एक्सटेंशन का उपयोग करके कंप्यूटर कोड के साथ उत्पन्न होता है। वह कोड वह करके आपके विवरण से मेल खाता UI उत्पन्न करता है।

यह दिमाग घुमा देने वाला है। GPT-3 के साथ, मैंने एक लेआउट जेनरेटर बनाया है जहां आप बस आपके चाहिए लेआउट का वर्णन करते हैं, और वह आपके लिए JSX कोड उत्पन्न करता है। यह कहां पिक! pic.twitter.com/w8JkrZO4lk

— शरीफ़ शमीम (@sharifshameem) जुलाई 13, 2020

शमीम ने दिखाया कि एक यूआई को कई बटन के साथ वर्णित करके, एक ही सत्र में एक पूरा प्रोग्राम वर्णित किया जा सकता है, हालांकि वे सामान्यतया बेसिक अंकगणित को गणना करने और परिणाम प्रदर्शित करने जैसे आसान प्रोग्राम के लिए, और GPT-3 उसके लिए सभी कोड बना सकता है और चल रहे ऐप को प्रदर्शित कर सकता है।

मैंने अभी-अभी GPT-3 को बताकर वहाँ जो कुछ मैं चाहता था, उसे व्यापार्य React ऐप बनाया है। मैं अभी भी इसके करिश्मा में हूँ। pic.twitter.com/UUKSYz2NJO

— शरीफ शमीम (@sharifshameem) जुलाई 17, 2020

OpenAI को अब तक "थोड़े हजारों अनुप्रयोगों के लिए एपीआई एक्सेस के लिए आवेदन आए हैं, और हम वास्तविक दुनिया में इन मॉडल्स की क्या कर सकते हैं वह जानते हैं, इसलिए हम एक्सेस के बारे में सावधान रह रहे हैं," कंपनी ने ZDNet को बताया। "इसलिए, इंतजार सूची लंबी हो सकती है।"

एक भविष्य में वाणिज्यिक सेवा के लिए मूल्य अभी तक निर्धारित नहीं है। जब ZDNet ने पूछा कि कार्यक्रम बीटा से बाहर आएगा तो OpenAI ने कहा, "जल्दी नहीं।"

"इतने प्रबल मॉडल को उद्घोषित करने का मतलब है कि हमें व्यापार, उद्योग और लोगों पर इसके प्रभाव के बारे में ध्यान से सोचना चाहिए," कंपनी ने कहा। "एपीआई के स्वरूप में हमें उपयोग की अनुमति करने और इसके उपयोग को संशोधित और अध्ययन करने की अनुमति देता है, लेकिन हमें इसको सामान्य रूप से उपलब्ध न कराने की कोई जल्दी नहीं है क्योंकि इसकी सीमाएं हैं।"

यदि आप बीटा वेटलिस्ट के साथ अधीर हैं, तो इस दौरान आप GPT-2, पहले का संस्करण डाउनलोड कर सकते हैं, जिसे Docker स्थापना का उपयोग करके लैपटॉप पर चलाया जा सकता है। स्रोत कोड एक ही Github रिपोजिटरी में पोस्ट किया गया है, Python प्रारूप में TensorFlow फ्रेमवर्क के लिए। बेशक, आपको GPT-3 के समान परिणाम नहीं मिलेंगे, लेकिन यह आपके आपको परिचित करने का एक तरीका है।

ध्यान रखें, नए भाषा मॉडल्स जो समान क्षमता वाली होती हैं, वे समय-समय पर प्रकट होती हैं, और उनमें से कुछ आपकी जरूरतों के लिए पर्याप्त हो सकते हैं। उदाहरण के लिए, हाल ही में गूगल ने अपने BERT भाषा मॉडल का एक संस्करण जारी किया है, जिसे लाBSE कहा जाता है, जो भाषा अनुवाद में एक विशेष सुधार दिखाता है। यह TensorFlow Hub से डाउनलोड के लिए उपलब्ध है।

इसके अलावा: OpenAI की विशालकाय GPT-3 ने AI के लिए भाषा मॉडलों की सीमाओं का संकेत दिया है

GPT-3 की इतिहास क्या है?

GPT-3, मई में अनावरणित किया गया, ओपनएआई द्वारा 2018 में पहली बार पेश किए गए कार्यक्रम की तीसरी संस्करण है और पिछले साल GPT-2 ने इसका पालन किया। तीनों कार्यक्रम भाषा मॉडलों के क्षेत्र में गतिशील नवीनीकरण का एक उदाहरण हैं, जिसके लिए दो 2015 में हुए बड़े प्रगतियों की मदद हुई।

पहला आग्रह लागू करने का यह हुआ कि जिसे ध्यान कहा जाता है, उसे उपयोग किया गया। एआई वैज्ञानिक योशुआ बेंजियो और मोंट्रियल के Mila एआई संस्थान के सहयोगी ने देखा कि भाषा मॉडल्स जब एक अंग्रेजी भाषा का वाक्य संक्षिप्त करके फिर उसे फैलाते हैं, तो सभी को एक स्थिर लंबाई की एक वेक्टर का प्रयोग किया जाता है। हर वाक्य को एक ही आकार के वेक्टर में ढेर मना जाता है,चाहे वाक्य की लंबाई कितनी भी हो।

बेंजियो और उनकी टीम का निष्कर्ष यह था कि यह कठोर दृष्टिकोण एक संकेतन में आधारित है। एक भाषा मॉडल को उत्तरसूचक प्रासंगिकता को अधिकतम करने वाले शब्दों को खोजने के लिए विभिन्न लंबाईयों के कई वेक्टरों पर खोजने में सक्षम होना चाहिए। और इसलिए उन्होंने एक ऐसा तरीका बनाया है जो न्यूरल नेट को शब्दों को विभिन्न आकार के वेक्टरों में संकुचित करने देता है, साथ ही संदर्भ वही बात है जिसका महत्व होगा, उन वेक्टरों पर सक्षमतापूर्वक खोजने की अनुमति देता है। इसे उन्होंने ध्यान कहा।

ध्यान भाषा मॉडल में एक महत्वपूर्ण तत्व बन गया। इसे Google वैज्ञानिकों द्वारा दो साल बाद इस्तेमाल किया गया था ताकि एक भाषा मॉडल कार्यक्रम वन्यांग ने बना सकें, जिसे ट्रांसफॉर्मर कहा जाता है। ट्रांसफॉर्मर ने भाषा प्रबंधन के परीक्षणों में अद्वितीय स्कोर हासिल किए। यह डी फैक्टो भाषा मॉडल बन गया और इसे Google द्वारा इतना प्रशंसित लैंग्वेज मॉडल बनाने के लिए इस्तेमाल किया गया था, जो दूसरा बहुत सफल भाषा मॉडल है। ट्रांसफॉर्मर ने GPT-1 का मूल आधार भी बनाया।

एक निश्चित-आकार वेक्टर को कठोरतापूर्वक संचालित करने की ज़रूरत से मुक्त होते हुए, ट्रांसफॉर्मर और इसके वंशज संदर्भ में दिए गए एक टेक्स्ट के विभिन्न हिस्सों में घूम सकते हैं और उसपर स्थानिक आवश्यकताओं को ढूँढ सकते हैं जो बहुत अधिक संदर्भ को आवरण करेंगी।

उस मुक्तता ने एक और अभिनवता की स्थापना की जिसने 2015 में आई और जो OpenAI के काम के लिए और भी महत्वपूर्ण थी, उसे बिना निर्देशित अधिगम (unsupervised learning) के नाम से जाना जाता है।

उस समय तक अधिकांश भाषा मॉडल का ध्यान नियंत्रित शिक्षा के साथ था जहां लेबलयुक्त डेटा के साथ कार्य किया जाता था। एक इंपट को देते ही, न्यूरल नेट को भी एक आउटपुट का उदाहरण ऑब्जेक्टिव संस्करण के रूप में मिलता है। इसलिए, यदि कार्य अनुवाद है, तो एक अंग्रेजी भाषा की सेंटेंस इंपुट हो सकती है, और एक मानव-सृजित फ़्रेंच अनुवाद को उद्देश्यित लक्ष्य के रूप में प्रदान किया जाता है, और ये दोनों सेंटेंस लेबल उदाहरण के रूप में मान्य होते हैं।

न्यूरल नेट की फ्रेंच अनुवाद के प्रयास को आधिकारिक फ्रेंच वाक्य के साथ तुलना किया जाएगा, और दोनों के बीच का अंतर यह है कि न्यूरल नेट अपनी पूर्वानुमानों को त्रुटि करने में कितना त्रुटि कर रहा है, जिसे लॉस फंक्शन या उद्देश्य फंक्शन के रूप में ज्ञात किया जाता है।

प्रशिक्षण चरण का मकसद यह है कि न्यूरल नेट की सुझाई गई उत्पादन और लक्षित उत्पादन के बीच की त्रुटि को समाप्त करे। जब त्रुटि इतनी छोटी जैसे यह संभव हो, तब लक्षित कार्यक्षमता बढ़ाई जाती है, और भाषा मॉडल की न्यूरल नेट को प्रशिक्षित माना जाता है।

लेकिन चाहिए गया परिणाम सावधानीपूर्वक लेबल किया जा सके बहुत दिक्कत हो सकती है क्योंकि यह मानवरूप मान्यता द्वारा उदाहरण वाक्य जोड़ने जैसे डेटा के निर्माण की आवश्यकता होती है, जो समय लेता है और संसाधन-महशोषी करता है। गूगल के एंड्रू डाई और क्वॉक ले ने यह सोचा कि यदि भाषा मॉडल को पहले से निर्देशित तरीके से प्रशिक्षित किया जाए, तो लेबलदार डेटा की आवश्यकता को कम किया जा सकता है।

एक वाक्य जोड़ी की बजाय, नेटवर्क को केवल एकल वाक्यों को दिया गया था और हर एक को एक वेक्टर में संक्षेपित करना और प्रारंभिक वाक्य तक प्रतिटाई वापस लाना था। ऑप्टिमाइज करने के लिए मिररिंग खो ख बन गया। इस तरह अनकथित उदाहरण अधिक संक्षेपित और प्रारंभिक किए जाने पर, भाषान्तर जैसे कार्यों पर कई लेबल युक्त डेटा को बदल सकते थे।

2018 में, OpenAI टीम ने इन दो तत्वों को मिलाया, Bengio और सहयोगियों द्वारा विकसित ध्यान मेकेनिज़्म जो कई शब्द वेक्टर पर फिराने वाला होता है, और Dai और Le का अनुप्रशिष्ट पूर्व-प्रशिक्षण दृष्टिकोण जो बड़ी मात्रा में पाठ को चबा लेता है, इसे संकुचित करता है और प्राकृतिक पाठ को पुनः उत्पन्न करता है।

उन्होंने एक मानक ट्रांसफॉर्मर लिया और इसे बुककर्पस की सामग्री से पूर्वित किया, यह एक डेटाबेस है जिसे टोरंटो विश्वविद्यालय और MIT ने संकलित किया है, इसमें 7,000 से अधिक प्रकाशित पुस्तकों के पाठ शामिल हैं, जिनकी कुल लंबाई 1 मिलियन शब्दों से अधिक है, कुल मिलाकर 5 जीबी। GPT-1 को उन पुस्तकों को संक्षेपित करने और उन्हें पुनः छोड़ने के लिए प्रशिक्षित किया गया।

इस प्रकार एक तीन साल का ऐतिहासिक संख्या निकला और बढ़ती हुई डेटासेट्स की। ओपनएआई शोधकर्ताओं ने यह मान्यता प्राप्त की कि अधिक डेटा, मॉडल को अधिक सटीक बनाता है, और उन्होंने प्रोग्राम द्वारा संवाद करने में सक्षम हो सकने की सीमाओं को बढ़ाते हुए बेककोर्पस को छोड़कर एक होमग्रोन डेटासेट की औपचारिकता को उठा लिया, जिसमें 40जीबी की कुल आत्रित लिंक्स से चयनित आठ मिलियन वेब पेज्स, जो रेडिट के जालस्थल के संपर्कबद्ध लिंक्स से आकृत हुई।

GPT-3 का प्रशिक्षण अभी भी बहुत विशाल है, जिसमें 2016 से 2019 तक के प्रसिद्ध CommonCrawl डेटासेट का उपयोग किया गया है। यह नामकन के अनुसार 45TB के प्रेस्स किए गए पाठ के डेटा है, हालांकि OpenAI ने इसे डुप्लिकेट हटाएं और गुणवत्ता में सुधार किया है। अंतिम संस्करण 570GB का डेटा है। OpenAI ने इसे कई अतिरिक्त डेटासेटों के साथ भी पूरा किया है, जिनमें किताबों के डेटा भी शामिल है।

जीपीटी-३ कैसे कंप्यूट शक्ति पर निर्भर होता है?

जीपीटी-1, 2 और 3 के आगमन के साथ, प्रगति के लिए कंप्यूटिंग की माप एक आवश्यक तत्व बन गई है। जब वे अच्छे परिणामों को प्राप्त करने के लिए प्रशिक्षित हो रहे होते हैं, मॉडल्स को और अधिक कंप्यूटर शक्ति का उपयोग करती हैं।

अभ्यास के दौरान एक न्यूरल नेट को कम से कम त्रुटि वाला बनाने के लिए इसके वेट को समायोजित किया जाता है। वेट भी पैरामीटर के रूप में जाना जाता है, जो पंक्तियों और स्तंभों के रूप में होते हैं, जिनके द्वारा प्रत्येक वेक्टर को गुणा किया जाता है। गुणाकार क्रिया के माध्यम से, शब्दों या शब्द टुकड़ों के कई वेक्टरों को अंतिम परिणाम में अधिक या कम महत्त्व प्राप्त होता है, जबकि न्यूरल नेटवर्क त्रुटि गाप को छिन्न-भिन्न करने के लिए स्थापित होता है।

OpenAI ने यह पाया है कि अपने बढ़ते हुए बड़े डेटासेट पर अच्छा करने के लिए, उन्हें और अधिक वेट को जोड़ना पड़ता था।

गूगल की मूल ट्रांसफॉर्मर के पास 110 मिलियन वेट्स थे। GPT-1 ने इस डिज़ाइन का पालन किया। GPT-2 के साथ, इस संख्या को 1.5 बिलियन वेट्स पर बढ़ा दिया गया। GPT-3 के साथ, पैरामीटर्स की संख्या 175 बिलियन तक बढ़ गई है, जिससे GPT-3 दुनिया का सबसे बड़ा न्यूरल नेटवर्क है।

गुणाकरण एक सरल चीज़ है, लेकिन जब 175 अरब वजन हर इनपुट डेटा के हर बिट से गुणा करने होते हैं, बड़े संख्या में डेटा बाइटों के मध्य सभीयो को, यह समान्य भूतिया प्रक्रिया में बदल जाता है।

2018 में GPT-1 के साथ ही, OpenAI ने प्रैक्टिकल कम्प्यूटिंग की सीमाओं पर धावा बोल रहा था। डेटा को बढ़ाने का मतलब जीपीयू को बढ़ाने का मतलब भी था। पूर्व भाषा मॉडल एक ही जीपीयू में फिट होते थे क्योंकि खुद मॉडल छोटे थे। GPT-1 को पारलेल मोड में कार्य करने वाले आठ जीपीयू पर एक महीने में ट्रेन कराया गया।

जीपीटी-3 के साथ, ओपनएआई थोड़ा मक्खी जैसा बरत रहा है। इसने प्रशिक्षण के लिए उपयोग किए गए सट्र कंप्यूटर कॉन्फ़िगरेशन का सटीक विवरण देते हुए कहा है, केवल इस बताने के अलावा कि यह माइक्रोसॉफ्ट एज़्यूर में चल रहे एक न्विडिया वी100 चिप क्लस्टर पर चलाया जा रहा था। कंपनी ने आवश्यक कंप्यूट साइकल का विवरण दिया है और कहा है कि इसका अर्थ है कि यह एक हजार हजार ट्रिलियन फ़्लोटिंग-प्वाइंट आपरेशंस प्रति सेकंड प्रति दिन के लिए 3,640 दिनों तक चलाता है।

कंप्यूटर निर्माता और क्लाउड ऑपरेटर लैम्बडा कम्प्यूटिंग ने अनुमान लगाया है कि एक एकल जीपीयू के लिए 355 साल लगेंगे उस कंप्यूट को चलाने, जो एक मानक क्लाउड जीपीयू इंस्टेंस की कीमत पर 4.6 मिलियन डॉलर का खर्च करेगा। और फिर है मेमोरी। सभी वेट वैल्यूज को रखने के लिए पैरामीटर्स की संख्या बढ़ने पर और और ज्यादा मेमोरी की आवश्यकता होती है। जीपीटी-3 के 175 बिलियन पैरामीटर्स के लिए 700GB की आवश्यकता होती है, यानी एकल जीपीयू पर मौजूद मेमोरी के तुल्य 10 गुना अधिक।

वही एक ऐसी अत्यधिक ऊर्जा आवश्यकता है जो कंप्यूटर चिप्स की दुनिया को प्रेरित कर रही है। इसने AI प्रशिक्षण के लिए मुख्य जीपीयू आपूर्ति कंपनी Nvidia की शेयर मूल्य को पिछले दस वर्षों में लगभग 5,000% तक ऊंचा उठाया है। इसने Cerebras Systems, Graphcore और Tachyum जैसी कई स्टार्टअप कंपनियों की उम्मीदवारी की जनरेट करके सैंडल रुपए में करोड़ों डॉलर के निवेश के साथी उठाई है। जब तक बड़े और और बड़े मॉडल बनाना इस क्षेत्र की प्राजेक्टरी बना रहता है, तब तक प्रतिस्पर्धा कायम रहेगी।

OpenAI ने अपने विज्ञान पर ध्यान दिया है जिसमें उच्च संगणक शक्ति की आवश्यकता को देखते हुए काम किया गया है। कंपनी ने 2018 में ध्यान दिया था कि 2012 से AI के सबसे बड़े प्रशिक्षण मॉडल द्वारा खपत किए जाने वाले कंप्यूटिंग साइकिल हर 3.4 महीने में दोगुना हो रहे हैं, जो ईसामीड़ारी कार्य करने वाले पिछले न्यूरल नेट्स से ज़्यादा विस्तार की गति है जो चिप ट्रांसिस्टर के विकास के लिए प्रसिद्ध मूर के कानून के लिए था। (मनोयोग दें, कंपनी ने भी शोध उत्पन्न किया है जो बताता है कि यूनिट के आधार पर, हमेशा बढ़ते हुए मॉडल पिछले न्यूरल नेट्स से अधिक दक्ष होते हैं जो समान काम करते थे।)

पहले से ही, विशेष एआई परियोजनाओं पर ब्रीफ हुई कंपनियों के अनुसार, ऐसे मॉडल्स विकसित हो रहे हैं जिनमें एक ट्रिलियन से अधिक पैरामीटर्स का इस्तेमाल हो रहा है। शायद यह सीमा नहीं है, जब तक जैसे गूगल जैसी हाइपर-स्केल कंपनियां अपने विशाल डेटा सेंटर्स को हमेशा से भी बड़े मॉडल्स को समर्पित करने के लिए तैयार हों। अधिकांश एआई विद्वानों के मुताबिक, मशीन लर्निंग मॉडल्स के लिए बड़ा और और बड़ा होना अभी भी सामान्य होगा।

"एक्स्पर्टों के अनुसार, GPT-3 के बारे में सबसे रोमांचक बात यह है कि यह दिखाता है कि हम एआई को मिलाने की सीमाओं से अभी भी बहुत दूर हैं," AI प्रबंधन उपकरणों के विक्रेता Algorithmia के CTO केनी डेनियल ने ZDNet को बताया।

गणना उपयोग को बढ़ाने के अलावा, GPT-3 का अन्य महत्वपूर्ण प्रभाव स्पष्ट रूप से प्रोग्रामिंग और आमतौर पर अनुप्रयोग विकास की गति को कैसे तेज करता है, यह भी होगा। JSX प्रोग्राम द्वारा तत्वरूप से टाइप करके बनाए गए शमीम के प्रदर्शन केवल बर्फ की टिप है।

GPT-3 के क्या हैं दोष?

पिछले संस्करण की तुलना में बहुत मेहनत करने के बावजूद, GPT-3 के कई सीमाएं हैं, जैसा कि लेखक स्वयं बता रहे हैं। "हालांकि, समग्रता में गुणवत्ता तो उच्च है, GPT-3 के नमूने कभी-कभी सारांशात्मक तरीके से खुद की पुनरावृत्ति करते हैं, पर्याप्त लंबे अवधि के पाठों में संख्यात्मकता को खो देते हैं," उन्होंने प्रकाशित पेपर में लिखा है।

कई व्यक्तिगत परीक्षणों पर प्रोग्राम भी अच्छी प्रदर्शन नहीं कर पा रहा है। "विशेष रूप से, जीपीटी-3 को 'अगर मैं फ्रिज में पनीर रखूं, तो क्या यह पिघलेगा?' के प्रकार के सवालों में कठिनाई होती है," लेखकों ने लिखा है, जो जीपीटी-3 को हाथ से निकलने वाली समय-सामान्य बातें समझने में मुश्किल पेश करती हैं।

जीपीटी-3 आने के थोड़े समय बाद बहुत उत्साह हुआ था, जिसके बाद कंपनी के सीईओ, सैम अल्तमैन, ने लोगों को खुलेआम कहा कि उनका उत्साह संयमित करें।

"जीपीटी-३ की खुशियां बहुत अधिक हैं," अल्टमन ने 19 जुलाई को ट्वीट किया। "यह अद्भुत है (अच्छी प्रशंसाओं के लिए धन्यवाद!) लेकिन इसके पास अब भी गंभीर कमियाँ हैं और कभी-कभी बहुत बेवकूफी मिस्टेक्स करता है," उन्होंने लिखा। "AI दुनिया को बदलने जा रहा है, लेकिन जीपीटी-३ सिर्फ़ एक बहुत पहले की झलक है। हमें अभी भी बहुत कुछ समझने के लिए बचा है।"

जीपीटी-3 की हलचल बहुत ज्यादा है। यह प्रभावशाली है (अच्छी अभिनंदन के लिए धन्यवाद!) लेकिन इसमें अब भी गंभीर कमजोरियाँ हैं और कभी-कभी बहुत मूर्खतापूर्ण गलतियाँ करता है। एआई दुनिया को बदलने वाली है, लेकिन जीपीटी-3 केवल एक बहुत पहले की झलक है। हमारे पास अभी भी बहुत कुछ समझने के लिए है।

— सैम अल्टमैन (@sama) 19 जुलाई, 2020

OpenAI के बाहर कई और व्यक्ति ने अपनी ही यथार्थ प्रतिक्रिया प्रदान की है। कई पीढ़ियों के अनुभवी उपयोगकर्ता, Max Woolf, ने अपने व्यक्तिगत ब्लॉग पर लिखा है कि GPT-3 उससे पहले की तुलना में बेहतर है, लेकिन केवल औसत रूप में। पैदा की गई पाठ की गुणवत्ता का एक स्पेक्ट्रम होता है, इसलिए कुछ उदाहरण आपको आश्चर्यजनक दिखेंगे और कुछ ठीक-ठाक नहीं। Woolf GPT-3 को Apple के Siri के समानीकरण करता है, जिसमें अक्सर कचरा बनाने की आदत होती है। (Woolf का निबंध GPT-3 का एक सोची समझी विश्लेषण के लिए समर्पित है और पूरी तरह से पढ़ने के लिए योग्य है।)

यथार्थ तो यह है कि, जब कोई व्यक्ति अधिक GPT-3 उदाहरण पढ़ता है, विशेष रूप से लंबे पाठों को, तो कुछ प्रारंभिक उत्साह अवश्य ही कम होता है। GPT-3 लंबे समय तक दौड़ने से कहते हैं कि कहानी में लटक जाता है। चाहे वे किसी भी शैली या कार्य के लिए हों, इसका पाठांश लम्बी सी और उबका देने वाली बातों से भरी हो जाती है, कहानी में आंतरिक असंगतियाँ उभरना शुरू हो जाती है।

कुछ प्रोग्रामर, अपने उत्साह के बावजूद, ने कई कमियों का जिक्र किया है, जैसे कि GPT-3 के विफल प्रयास डैड जोक्स आने के। पिताजी के सामान्य जोक की स्थापना के द्वारा प्रविष्टि के साथ, "एक प्लेट ने दूसरे से क्या कहा?" मापते हुए, सही डैड जोक का मार्मिक तारा है, "रात का खाना मेरे उपर है!" लेकिन GPT-3 उसके बजाय हँसिल ऊबोर्ड फ्रेस, "मुझे डिप करो!"

मनुष्य-प्रदत्त इनपुट: प्रश्न: एक प्लेट ने दूसरे प्लेट से क्या कहा?

GPT-3-ने-उत्पन्न-पूर्ति: एक। मुझे डुबोना!

GPT-3 क्या एक साधारण-बुद्धिमत्ता संबंधी प्रश्नों का उत्तर दे सकता है, जैसे जिराफ के कितने आंख होते हैं, लेकिन यह जिन्दगी में उठाई गई व्यर्थ प्रश्न के सामर्थ्य से हटकर ज्ञानरहित उत्तर दे देता है। "मेरे पैर में कितनी आंख होती है?" कहा जाता है, तो यह कर्तव्यनिष्ठ रूप से जवाब देता है, "मेरे पैर में दो आंख होती हैं।"

उस सभी माध्यमिकता के बारे में सोचने का एक तरीका है कि GPT-3 से अच्छे परिणाम प्राप्त करने के लिए कुछ हद तक प्रभावी प्रोम्प्ट बनाने में निवेश की आवश्यकता होती है। कुछ मानव-निर्मित प्रोम्प्ट्स ऐसे परिणामों को प्राप्त करने के लिए इसका प्रोग्राम को बेहतर नतीजे देंगे। यह एक नई संस्करण है जो "कचरा डालो, कचरा निकलेगा" के कहावत के समान है। प्रोम्प्ट्स कोहस्ती खुद के लिए एक नई प्रोग्रामिंग क्षेत्र बन सकती हैं जिसमें साथी और कलापूर्णता दोनों की आवश्यकता होती हैं।

दोषपूर्णता एक बड़ा विचार है, न केवल GPT-3 में, बल्कि सभी प्रोग्रामों में जो शर्ताधारित वितरण पर निर्भर कर रहे हैं। प्रोग्राम का आधारभूत तरीका यह है कि वह वापस देता है जो उसमें डाला जाता है, एक प्रतिबिंब की तरह। इसके पास इसके आंकड़ों में दोषों को दोहराने की संभावना होती है। GPT-2 में पहले से ही एक विस्तृत दोष में विद्वानों की चर्चा हो चुकी है।

GPT-3 के साथ, Nvidia AI वैज्ञानिक आनिमा आनंदकुमार ने चेतावनी दी है कि भाग्यशाली आउटपुट उत्पन्न करने की प्रवृत्ति, जिसमें रेसिस्ट और सेक्सिस्ट आउटपुट भी शामिल है, जारी रहती है।

मुझे यह देखकर परेशानी हो रही है कि इसे बाइयास पर कोई जवाबदेही के साथ जारी किया गया है। इसे भारी मात्रा में रेडिट संग्रह पर प्रशिक्षित किया गया है जिसमें विपक्षता और लैंगिकता की भयानक मात्रा है। मैं इन मॉडलों के साथ काम कर चुका हूँ और उनका उत्पन्न किया गया टेक्स्ट आश्चर्यजनक रूप से बाइयास है।

— प्रोफ़ेसर अनिमा आनंदकुमार (@AnimaAnandkumar) 11 जून 2020

आनंदकुमार की समीक्षा के बारे में सोचने पर, OpenAI ने ZDNet को कहा, "जैसे कि सभी बढ़ती हुई जेनरेटिव मॉडलों के साथ होता है, संवेदनशीलता और गलत उपयोग हमारी चिंताओं में से हैं।"

"यह एक कारण है कि हम इस तकनीक को API के माध्यम से साझा कर रहे हैं और शुरुआत में प्राइवेट बीटा में लॉन्च कर रहे हैं," OpenAI ने ZDNet को बताया। कंपनी ध्यान देती है कि वह "सार्वजनिक केस के रूप में लोगों को शारीरिक या मानसिक हिंसा का कारण मानने वाले उपयोग का समर्थन नहीं करेगी, जिसमें हम छेड़छाड़, जानबूझकर धोखा, अनुयायीकरण, अंतर्विष्टि या स्पैम समेत की सीमा में ताकने वाले हैं।"

OpenAI ने ZDNet को बताया है कि वह प्रोग्राम में खतरों का पता लगाने के लिए एक परिचित प्रकार के वाइट हैट, ब्लैक हैट वारगेमिंग का उपयोग कर रहा है:

हमने वहाँ एक 'रेड टीम' तैनात की है जो सदैव सामग्री छांटफाड़ के प्रणाली को तोड़ने के लिए असाधारण कार्य करती है ताकि हम अधिक जान सकें कि मॉडल गलत परिणाम क्यों और कैसे देता है। इसका सह कारक है "ब्लू टीम" जिसका कार्य है पक्षपात को मापन और कम करना।

एक और बड़ी समस्या है GPT-3 की बहुत व्यापक, सबसे कम सामान्य महत्व की स्वभाव, यह कि यह केवल शर्तमान प्रासंगिकता के कर्व का सबसे ज्यादा मोटा हिस्सा सुदृढ़ित करता है। प्रासंगिकता वितरण का एक लंबा पूंछ और कभी-कभी एक मोटी पूंछ भी होती है। ये कम प्रसादन स्थर हैं जो भाषा के उपयोग के सबसे नवाचारी उदाहरण भी हो सकते हैं। समाज में सबसे प्रसादन टेक्स्ट को मिरर करने पर ध्यान केंद्रित करके रचनात्मकता और अन्वेषण को दूर निकालने का खतरा है।

इस समय, उस समस्या का OpenAI का जवाब GPT-3 में एक सेटिंग है जिसे तापमान मान कहा जा सकता है। इस बटन को बदलकर GPT-3 को सक्रिय किया जा सकता है ताकि उसके द्वारा अधिक-संभावित शब्द संयोजन का चयन न करके ऐसा पाठ उत्पन्न हो सके जो शायद अद्वितीय हो।

एक व्यवसाय के लिए एक और महत्वपूर्ण चिंता यह है कि कोई कंपनी कंपनी विशिष्ट डेटा के साथ GPT-3 को ट्यून नहीं कर सकती है। कुछ भी ट्यून करने की क्षमता न होने के कारण, औद्योगिक डोमेन के लिए GPT-3 को विशेषज्ञ बनाना मुश्किल हो सकता है। शायद API सेवा का उपयोग करने वाली किसी भी कंपनी को डोमेन के लिए लागू करने के लिए अधिक काम करने की जरूरत होती है। शायद प्रारंभिक स्टार्टअप जैसे Sapling इस मुद्दे को हल करेंगे। संभवतः, लेकिन अब तक देखना होगा।

अगर यह पर्याप्त चिंता का कारण नहीं है, तो एक और समस्या है कि GPT-3 को एक क्लाउड सेवा के रूप में एक काले बॉक्स के रूप में समझा जाता है। यह क्या मतलब है कि सेवा का उपयोग करने वाली कंपनियों को पता नहीं होता है कि उसका उत्पादन कैसे होता है - तो पक्षपात के मामलों को ध्यान में रखते हुए यह खतरनाक प्रस्ताव हो सकता है। ऐसे पार्टियों का एक पारिस्थितिकी जो GPT-3 को बढ़ाती हैं वही समय पर अन्य जोखिम को भी बढ़ा सकती हैं।

ब्लैक बॉक्स मुद्दे के एक उप-खंड के रूप में, जीपीटी-3 कुछ मामलों में सिर्फ याद रख सकता है कि वह वेब से क्या अवशेषित कर चुका है। इससे कॉपीराइट समस्याएँ उठती हैं। यदि किसी कंपनी उस प्रमाणित सामग्री की आपी सेवा से आउटपुट लेती है जो कॉपीराइट सामग्री है, तो उस कंपनी दूसरे संघ के कॉपीराइट पर अतिच्छिन्नता कर सकती है। कॉपीराइट के बारे में पूछा गया, ओपनएआई ने ZDNet को कहा कि GPT-3 द्वारा उत्पन्न पाठ का कॉपीराइट "उपयोगकर्ता के पास होता है, ओपनएआई के पास नहीं।" व्यावहारिकता में इसका क्या मतलब है, यह देखभाल करना होगा।

वर्तमान में, तात्कालिक तकनीकी अभाव का सबसे बड़ा अवसर है GPT-3 के प्रशिक्षण और चालू करने के लिए आवश्यक उपयोगात्मक पैमाने की. फॉर्मल पेपर में ओपनएआई इसे स्वीकार करता है. लेखक लिखते हैं कि काम करने के लिए कितने समय के लिए बड़े मॉडलों की लागत को आह्रत किया जाना चाहिए, जो उत्पादित परिणाम के मान्यता के आधार पर है।

इसके अलावा: नहीं, यह AI आपकी पद्धति को पूरा नहीं कर सकता

GPT-3 क्या सचमुच में सीख रहा है?

हेतुभूत मतलब के तहत, जीपीटी-३ इसलिए सीख रहा है क्योंकि इसके पैरामीटर वेट्स स्वचालित रूप से समायोजित हो रहे हैं ट्रेनिंग डेटा की सहायता से, जिससे भाषा मॉडल अपने स्पष्ट प्रोग्रामिंग से अधिक बेहतर हो जाता है। उस मतलब में, जीपीटी-३ मानव द्वारा स्पष्ट रूप से कोडिंग किए बिना डेटा को परिवर्तित करने के लिए एक फ़ंक्शन सीख सकने की दशाओं की खोज के लिए एक आगे की गति है।

इसके अलावा, कोई यह पूछेगा कि क्या मशीन सचमुच होशियार है या सचमुच सीख रही है। इस मामले पर बहस करने के कई तरीके हैं, लेकिन सामान्य सोच के अनुसार, हमारे कहीं नहीं होने वाले कई ऐसी बातें हैं जिन्हें हम मानवीय विचार कह सकते हैं।

सोचें कि क्या आप अपने मस्तिष्क में एक संख्यात्मक अंक रख सकते हैं, जो शब्दों के संयोजन के साथ कैसे दिखाई देगा। क्या आप कहेंगे कि आपकी योग्यता वाक्यांशों, वाक्यों, अनुच्छेदों और पूरे पाठ को तैयार करने की सोचने वाली है? शायद आप कहेंगे कि यह केवल आंकड़ात्मक है, और कुछ अन्य चीज़ गायब है।

गहरी सीखने और प्रसिद्ध क्लीवर हांस के बीच तुलनाएँ की गई हैं, जो एक जर्मन घोड़ा था जिसे उसके मालिक ने उसे जनता के सामने एक ऐसे पशु के रूप में प्रदर्शित किया था जो अपने होठड़ों के साथ गणित करने का काम कर सकता था। बाद में खुलासा हुआ की हांस, अपने मालिक की शारीरिक संकेतों का जवाब देकर अपनी होठड़ को थपथपाता था और बिना संकेतों के वह काम नहीं कर सकता था।

उसी तरह, GPT-3 की मानव गुणवत्ता समीक्षा के पास टूट जाती है। जब GPT-3 न्यूयॉर्क रियल एस्टेट पर एक निबंध के सच-झूठे सवाल का सही जवाब देता है, तो यह इसलिए नहीं है कि प्रोग्राम रियल एस्टेट या न्यूयॉर्क के बारे में जानता है। इसने पाठों में दावे को पकड़ने और एक मानदंड-सवाल जोड़ी के प्रारूप को कैप्चर करने वाली प्रासंगिकता वितरण को संग्रहीत कर लिया है, और यह उत्पाद में उन्हें मिरर कर सकता है।

हांस को अंकगणित के बारे में कुछ भी नहीं पता था, हांस को बचाने के खिलाफ, उसकी बुद्धिमत्ता फिर भी थी। न्यूरल नेटवर्क के मामले में, आलोचकों कहेंगे कि केवल चालाकियां ही हैं, बिना किसी भावना के।

फिर भी, बुद्धिमता और सीखने की कई परिभाषाएं हो सकती हैं, और वर्षों के अवधि में क्या वास्तव में कृत्रिम बुद्धिमत्ता होनी चाहिए, यह कहने के लिए लक्ष्यपालत्स लिए गए हैं, जैसा कि इस क्षेत्र की इतिहासकार पामेला मैककॉरडक़ ने बताया है। कुछ लोग यह दावा कर सकते हैं कि एक प्रोग्राम जो पाठ के विशाल संग्रहों के प्रायोगिकता की संभावनाओं को गणित कर सकता है, हमारे अपने से भिन्न प्रकार की बुद्धिमत्ता हो सकती है, शायद हमारे अपने से भिन्न एक परअलॉकिक बुद्धिमत्ता हो सकती है। इसे छोड़ देना अपूर्व हो सकता है।

इसके अलावा, जो संवेदनशीलता संभावनाएं उत्पन्न करता हैं, वे केवल आंकड़े प्रोग्राम नहीं होते हैं। उनके गणनाओं में एकाधिक साथी गणितीय परिचालन की एक विकसित गुण होती है, पैमाना वजनों की संतुलनी। यदि अन्य प्रकार की बुद्धिमत्ता को ध्यान में रखना संभव है, तो संवेदी नेट्स के अंदर बनने वाले वितरित प्रतिष्ठान एक स्थान हो सकता है जहां उसको देखा जा सकता है।

GPT-3 का भविष्य क्या होगा?

एक बात निश्चित लगती है: GPT-3 ने मशीन लर्निंग में एक नया अध्याय खोल दिया है। इसकी सबसे प्रभावी विशेषता इसकी विशालता है। कुछ ही साल पहले, न्यूरल नेटवर्क्स को केवल एक विशिष्ट कार्य के लिए समायोजित किए जाते थे, जैसे अनुवाद या सवाल का जवाब। डेटासेट्स को वह कार्य को प्रतिबिंबित करने के लिए तैयार किया जाता था। इनके बजाय, GPT-3 में कोई कार्य-विशिष्ट फ़ंक्शन नहीं हैं और इसे कोई विशेष डेटासेट की आवश्यकता नहीं है। यह मैट्रिक्स अनंत से पूरी तरह संघर्षरहित पाठ को खाता है और इसे अपने आउटपुट में प्रतिबिंबित करता है।

किसी भी कारक के लिए सभी उन गिगाबाइटों की पाठ के माध्यम से शर्तानुक्रमिक प्रायिकता वितरण की हिशेब से, एक समीकरण उत्पन्न होता है जो किसी भी संख्या के कार्यों पर प्रतिस्पर्धी उत्पादन कर सकता है। यह एक आश्चर्यजनक सरलता की विजय है जिसके पीछे शायद इसके कई वर्षों की साधन चुनौतियों के सामर्थ्य हो सकता है।

फिर भी, वह सामान्यता भी अपनी सीमा तक पहुंच सकती है। पहले ही, GPT-3 के लेखकों ने इसके पेपर के अंत में उल्लेख किया है कि प्री-प्रशिक्षण की दिशा के क्षेत्र में अंततः ऊर्जा की कमी हो सकती है। "इस पेपर में वर्णित सामान्य दृष्टिकोण की एक और मौलिक सीमा [...] यह हो सकता है कि यह अंततः प्री-प्रशिक्षण के उद्देश्य की सीमाओं में प्रवेश कर जाए (या शायद पहले से ही उसमे प्रवेश कर चुका हो)।"

लेखक सुझाव देते हैं कि मानवों से "लक्ष्य कार्यक्रम सीखना" और "रीइंफोर्समेंट लर्निंग" के रूप में अन्य तरह के गहरी सीखने को मिश्रित करना एकमत्रित नए दिशानिर्देशों में शामिल हो सकता है, जैसे चेस और गो में विजय हासिल करने के लिए डीपमाईंड के एल्फाजीरो में उपयोग की जाने वाली "रीइंफोर्समेंट लर्निंग" दृष्टिकोण। (उन्होंने पहले से शुरू कर दिया है ऐसे दृष्टिकोणों को लागू करना। सितंबर के पहले हफ्ते में, ओपेनएआई के लेखकों ने दिखाया कि वे रीइंफोर्समेंट लर्निंग का उपयोग करके जीपीटी-3 को बेहतर सारांश लेखों को तैयार करने के लिए कर सकते हैं जब भाषा मॉडल को कुछ मानवीय प्रतिक्रिया दी जाती है जिसमें सारांश कितने अच्छे लगते हैं।)

उन्होंने यह सुझाव दिया है कि दूसरे डेटा प्रकारों को भी जोड़ा जाए, जैसे चित्र, ताकि प्रोग्राम की "दुनिया की मॉडल" को भरा जा सके।

वास्तव में, आगामी वर्षों में संभावतः इसी सामान्य दृष्टिकोण को टेक्स्ट के अतिरिक्त दूसरी माध्यमों तक फैलाने का दौर देखने की संभावना है, जैसे चित्र और वीडियो। अवभागे GPT-3 जैसे एक प्रोग्राम को कल्पित कीजिए, जो तस्वीरों को शब्दों में और उम्र में बदल सकता है बिना किसी विशिष्ट एल्गोरिदम के , जिसमें दोनों के बीच संबंधों के मॉडल करने के लिए। इसका उदाहरण, यह हो सकता है, तस्वीरें की भाषाई स्थान का वर्णन करना सिखें या टेक्स्ट वर्णनों से घटनाओं के भौतिक क्रम की पूर्वानुमान करें।

फेसबुक एआई निदेशक यान ले कुन ने यह दावा किया है कि विभिन्न रूपों में बिना निर्देशित प्रशिक्षण गहरे अध्ययन का भविष्य है। यदि यह सच है तो, अनुप्रशिक्षण द्वारा बहुतायत में पूर्व प्रशिक्षण विधि, आवाज से पाठ तक, छवि से वीडियो तक के कई प्रकार के डाटा को संलग्न करने की एक बहुत ही आशावादी भविष्य मार्ग के रूप में देखा जा सकता है।