Gemini Nano को बेहतर बनाना: LoRA की मदद से, बेहतर क्वालिटी की खास जानकारी देना

Yae Jee Cho

पब्लिश किया गया: 21 मई, 2025

खास जानकारी देना, एआई के सबसे सामान्य और अहम कामों में से एक है. इसके लिए, लार्ज लैंग्वेज मॉडल (एलएलएम) का इस्तेमाल किया जाता है. खास जानकारी, लंबे लेखों और चैट लॉग से लेकर कई समीक्षाओं तक के कॉन्टेंट को तेज़ी से समझने का अहम तरीका है. इससे समय की बचत होती है, काम करने की क्षमता बढ़ती है, और तेज़ी से और बेहतर फ़ैसले लेने में मदद मिलती है.

खास जानकारी के कई अलग-अलग टाइप होते हैं. इनमें जानकारी के अलग-अलग लेवल और फ़ॉर्मैटिंग की अलग-अलग उम्मीदें होती हैं. अलग-अलग तरह की खास जानकारी की उम्मीदों को पूरा करने के लिए, Chrome ने Gemini Nano के आउटपुट को बेहतर बनाने के लिए, Google Cloud के साथ मिलकर काम किया.

हमने Gemini Nano को लो-रैंक अडैप्टेशन (LoRA) के साथ बेहतर बनाया है, ताकि खास जानकारी के सभी स्टाइल और लंबाई के लिए, अनुभव और आउटपुट की क्वालिटी को बेहतर बनाया जा सके. इसके अलावा, हमने खास जानकारी की क्वालिटी के अलग-अलग पहलुओं पर, अपने-आप और अपने-आप रेटिंग देने वाले सिस्टम की मदद से आकलन करने की सुविधा लागू की है. इन पहलुओं में, तथ्यों की सटीक जानकारी, कवरेज, फ़ॉर्मैट, और पढ़ने में आसानी शामिल है.

हमने विज़ुअलाइज़ किया है कि असल ज़िंदगी में यह अंतर कैसा दिखता है. इस तरीके को आज़माकर, रीयल-टाइम डेमो देखें. इसमें Gemini Nano और Gemini Nano with LoRA के आउटपुट की तुलना की गई है.

Summarizer API क्या है?

ज़्यादा जानकारी देने वाला वीडियो वेब एक्सटेंशन Chrome का स्टेटस प्रयोजन
MDN झंडे के पीछे Chrome 138 बीटा झंडे के पीछे Chrome 138 बीटा देखें शिप करने का इंटेंट

Summarizer API, लंबे टेक्स्ट कॉन्टेंट को कम शब्दों में आसानी से समझी जा सकने वाली खास जानकारी में बदल देता है. यह एपीआई, Chrome में पहले से मौजूद है. साथ ही, अनुमान लगाने के लिए Gemini Nano का इस्तेमाल करता है.

अलग-अलग साइटों के लिए, अलग-अलग स्टाइल और लंबाई वाली खास जानकारी की ज़रूरत पड़ सकती है. उदाहरण के लिए, अगर आप कोई न्यूज़ साइट हैं, तो हो सकता है कि आप अपने लेखों में मुख्य बिंदुओं की सूची, बुलेट पॉइंट के तौर पर दिखाना चाहें. इसके अलावा, प्रॉडक्ट की समीक्षाएं ब्राउज़ करने वाले उपयोगकर्ताओं को, समीक्षा के सेंटीमेंट की खास जानकारी तुरंत और कम शब्दों में मिल सकती है. उदाहरण के लिए, हमने short पर सेट की गई लंबाई के साथ, वेल्श कोर्गिस के बारे में Wikipedia के पेज को छोटा किया है.

खास जानकारी का टाइप आउटपुट
headline ## वेल्श कोर्गी: रॉयल्टी और मवेशी चराने वाले कुत्तों का इतिहास
key-points * वेल्श कोर्गी, भेड़-बकरियों को चराने वाला एक छोटा कुत्ता है. इसकी उत्पत्ति वेल्स में हुई थी.
* इसकी दो मुख्य नस्लें हैं: पेम्ब्रोक और कार्डिगन वेल्श कोर्गी.
* पेमब्रोक ज़्यादा लोकप्रिय है और इसे ब्रिटिश राजपरिवार से जोड़ा जाता है.
tldr वेल्श कोर्गी, एक छोटा चरवाहों का कुत्ता है. यह वेल्स और ब्रिटिश राजपरिवार में काफ़ी समय से मौजूद है. यह दो तरह का होता है: पेम्ब्रोक और कार्डिगन. दोनों को फ़ॉक्स की तरह के चेहरे, छोटी टांगों, और चरवाहों के काम करने की प्रवृत्ति के लिए जाना जाता है.
teaser वेल्श कोर्गी के इतिहास के बारे में जानें. यह कुत्ता, वेल्श के किसानों के लिए, भेड़-बकरियों को चराने वाला कुत्ता था. बाद में, यह ब्रिटिश राजपरिवार का प्रतीक बन गया.

Summarizer API Playground का इस्तेमाल करके, दूसरे पेजों के साथ प्रयोग किया जा सकता है.

बेहतर बनाने के लिए एक्सपेरिमेंट करना

फ़ाइन-ट्यूनिंग की सुविधा, 138.0.7180.0 वर्शन से Chrome Canary में फ़्लैग के तौर पर ही उपलब्ध है. इस मॉडल का इस्तेमाल करने के लिए:

  1. Chrome Canary खोलें.
  2. chrome://flags/#summarization-api-for-gemini-nano पर जाएं
  3. अडैप्टेशन के साथ चालू है को चुनें.
  4. ब्राउज़र को रीस्टार्ट करें.
  5. DevTools Console खोलें और Summarizer.availability() डालें. इससे, LoRA का पूरक डेटा डाउनलोड होना शुरू हो जाता है.

डाउनलोड पूरा होने के बाद, एक्सपेरिमेंट शुरू किया जा सकता है.

खास जानकारी देने वाली सुविधा की परफ़ॉर्मेंस का आकलन करना

हमने बेहतर बनाए गए Gemini Nano की परफ़ॉर्मेंस में हुए सुधार का आकलन, मुख्य रूप से दो तरीकों से किया है. पहला, अपने-आप और दूसरा, अपने-आप रेटिंग देने वाला. फ़ाइन-ट्यूनिंग की मदद से, मॉडल को कुछ खास टास्क बेहतर तरीके से करने में मदद मिलती है. जैसे:

  • मेडिकल टेक्स्ट का बेहतर अनुवाद करना.
  • किसी खास आर्ट स्टाइल में इमेज जनरेट करें.
  • कोई नया स्लैंग समझना.

इस मामले में, हम हर तरह की खास जानकारी की उम्मीदों को बेहतर तरीके से पूरा करना चाहते थे.

अपने-आप होने वाला आकलन

अपने-आप होने वाला आकलन, मॉडल के आउटपुट की क्वालिटी का आकलन करने के लिए सॉफ़्टवेयर का इस्तेमाल करता है. हमने इस तकनीक का इस्तेमाल, अंग्रेज़ी में दिए गए इनपुट की खास जानकारी में फ़ॉर्मैटिंग से जुड़ी गड़बड़ियों, वाक्यों के दोहराए जाने, और अंग्रेज़ी के अलावा किसी दूसरे भाषा के वर्णों की मौजूदगी का पता लगाने के लिए किया.

  • फ़ॉर्मैटिंग से जुड़ी गड़बड़ियां: हम यह जांच करते हैं कि खास जानकारी वाले रिस्पॉन्स, प्रॉम्प्ट के फ़ॉर्मैटिंग निर्देशों के मुताबिक हैं या नहीं. उदाहरण के लिए, कम शब्दों में मुख्य बातों के स्टाइल के लिए, हम यह जांच करते हैं कि हर बुलेट पॉइंट, तारे के निशान (*) से शुरू होता है या नहीं. साथ ही, यह भी जांच की जाती है कि बुलेट पॉइंट की संख्या तीन से ज़्यादा नहीं है.

  • वाक्य दोहराना: हम यह जांच करते हैं कि जवाब में एक ही वाक्य दोहराया गया है या नहीं. ऐसा होने पर, जवाब की क्वालिटी खराब मानी जाती है.

  • अंग्रेज़ी के अलावा किसी दूसरी भाषा के वर्ण: हम यह जांच करते हैं कि जवाब में अंग्रेज़ी के अलावा किसी दूसरी भाषा के वर्ण शामिल हैं या नहीं.

  • आउटपुट में हाइपरलिंक: हम यह जांच करते हैं कि जवाब में मार्कडाउन फ़ॉर्मैट या सादे टेक्स्ट में कोई ऐसा हाइपरलिंक है या नहीं जो इनपुट में मौजूद नहीं है.

हमने इनपुट के दो स्टाइल का आकलन किया: स्क्रेप किए गए लेख और चैट लॉग.

  हेडलाइन TLDR खास बातें टीज़र
  बेस / LoRA के साथ बेस / LoRA के साथ बेस / LoRA के साथ बेस / LoRA के साथ
फ़ॉर्मैट से जुड़ी गड़बड़ियां 13.54% / 7.05% 41.07% / 4.61% 12.58% / 6.36% 51.17% / 6.74%
वाक्य दोहराना 0.07% / 0.07% 0.21% / 0.0% 0.10% / 0.10% 0.10% / 0.03%
अंग्रेज़ी के अलावा दूसरी भाषाओं में होने वाली गड़बड़ियां 3.95% / 0.03% 1.38% / 0.0% 2.41% / 0.03% 1.44% / 0.0%
हाइपरलिंक 0.07% / 0.0% 0.14% / 0.0% 0.14% / 0.0% 0.34% / 0.0%
अलग-अलग तरह की 970 खास जानकारी वाले लेखों का अपने-आप आकलन.
  Headline TLDR खास बातें टीज़र
  बेस / LoRA के साथ बेस / LoRA के साथ बेस / LoRA के साथ बेस / LoRA के साथ
फ़ॉर्मैट से जुड़ी गड़बड़ी 13.17% / 0.24% 22.92% / 0.18% 4.43% / 0.09% 29.64% / 3.51%
वाक्य का दोहराव 0.0% / 0.0% 0.0% / 0.0% 0.0% / 0.0% 0.03% / 0.0%
अंग्रेज़ी के अलावा किसी दूसरी भाषा में गड़बड़ी का मैसेज 0.15% / 0.0% 0.15% / 0.0% 0.03% / 0.0% 0.06% / 0.0%
हाइपरलिंक 0.0% / 0.0% 0.0% / 0.0% 0.0% / 0.0% 0.0% / 0.0%
1,091 चैट एंट्री के सैंपल का अपने-आप आकलन.

Gemini Nano को बेहतर बनाने के बाद, हमें लेखों और चैट लॉग, दोनों के लिए खास जानकारी के अलग-अलग टाइप में फ़ॉर्मैट से जुड़ी गड़बड़ी की दर में काफ़ी कमी दिखी.

अपने-आप रेटिंग देने वाली सुविधा

हमने Gemini Nano के आउटपुट की क्वालिटी का आकलन करने के लिए, अपने-आप रेटिंग देने वाले टूल के आकलन के लिए Gemini 1.5 Pro का इस्तेमाल किया. हर खास जानकारी का मकसद अलग होता है. इसलिए, अलग-अलग खास जानकारी के लिए, शर्तें और शर्तों की वैल्यू अलग-अलग होती है. खास जानकारी के सभी टाइप का आकलन इनके लिए किया गया था:

  • कवरेज: क्या खास जानकारी में, इनपुट के ज़रूरी मकसद के बारे में सटीक जानकारी दी गई है?
  • तथ्यों के आधार पर: क्या खास जानकारी में दी गई बातें सही हैं? क्या जवाब में ऐसी नई जानकारी दी गई है जो टेक्स्ट में साफ़ तौर पर नहीं दी गई है या जिसका इशारा नहीं किया गया है?
  • फ़ॉर्मैट: क्या खास जानकारी को मान्य मार्कडाउन सिंटैक्स के साथ फ़ॉर्मैट किया गया है? क्या ज़रूरत के मुताबिक, कम से कम वाक्यों की संख्या का इस्तेमाल किया गया है?
  • जानकारी की स्पष्टता: क्या जवाब में जानकारी दोहराई गई है? क्या खास जानकारी में कम से कम शब्दों में, मुख्य मैसेज को सटीक तरीके से बताया गया है?

खास तरह की खास जानकारी के लिए, अलग-अलग मेट्रिक लागू होती हैं, क्योंकि इनकी अलग-अलग भूमिकाएं होती हैं:

  • दर्शकों की दिलचस्पी: (headline): क्या खास जानकारी से सामान्य दर्शकों को तुरंत समझ आ जाता है? क्या जवाब में आम तौर पर लोगों का ध्यान खींचने और उन्हें पसंद आने वाली भाषा का इस्तेमाल किया गया है?
  • कम शब्दों में जानकारी (tldr): क्या खास जानकारी कम और आसान शब्दों में दी गई है और क्या इसे तुरंत समझा जा सकता है? क्या इसमें मुख्य मैसेज को आसानी से समझने के लिए, सही तरीके से पेश किया गया है?
  • पाठकों का ध्यान खींचना (teaser): क्या खास जानकारी से पाठकों का ध्यान खींचा जा सकता है और क्या इससे उन्हें पूरा लेख पढ़ने का बढ़ावा मिलता है? क्या इसमें ऐसी भाषा का इस्तेमाल किया गया है जो दिलचस्प और दिलचस्प कॉन्टेंट का सुझाव देती हो?

हमने ऑटोरेटर का इस्तेमाल करके, बेस मॉडल और LoRA मॉडल के आउटपुट की तुलना एक साथ की. ऑटोरेटर के स्कोर का औसत 0 से 1 के बीच था. इसके बाद, थ्रेशोल्ड वैल्यू के हिसाब से इसका आकलन किया गया.

सटीक नतीजे पाने के लिए, हमने डेटा में होने वाले बदलाव को कम किया है. साथ ही, रैंकिंग में किसी भी तरह के पक्षपात को कम किया है.

  • डेटा में वैरिएंस कम करना: हमने हर इनपुट के लिए, तीन अलग-अलग आउटपुट के स्कोर का औसत निकाला है. ऐसा इसलिए किया गया है, क्योंकि अलग-अलग रन के नतीजे थोड़े अलग हो सकते हैं. हमने बेस मॉडल और बेहतर किए गए Gemini Nano, दोनों के आउटपुट का औसत निकाला है. अलग-अलग आउटपुट के स्कोर में थोड़ा ही अंतर था. हालांकि, औसत से हमें बड़े डेटा सेट को ज़्यादा भरोसेमंद तरीके से समझने में मदद मिलती है.

  • रैंकिंग में किसी खास क्रम को प्राथमिकता न देना: रेटिंग देने वाले व्यक्ति के साथ सबसे पहले शेयर की गई खास जानकारी को प्राथमिकता न देने के लिए, हमने नतीजों का दो बार आकलन किया. इसके बाद, फ़ाइनल स्कोर का औसत निकाला.

    1. हमने LoRA के साथ मॉडल का आकलन किया. इसके बाद, बेस मॉडल का आकलन किया.
    2. इसके बाद, हमने यह आदेश वापस ले लिया. हमने सबसे पहले बेस मॉडल का आकलन किया. इसके बाद, LoRA वाले मॉडल का आकलन किया.
    3. हमने फ़ाइनल स्कोर का औसत निकाला.
      छोटा ठीक-ठाक लंबी
      बेस / LoRA के साथ बेस / LoRA के साथ बेस / LoRA के साथ
    LoRA फ़र्स्ट 74.29% / 86.64% 76.11% / 81.38% 68.62% / 78.95%
    पहले बेस मॉडल 68.02% / 88.60% 64.97% / 87.58% 58.25% / 86.35%
    वर्शन C (औसत) 71.02% / 89.18% 69.59% / 84.08% 63.47% / 82.65%
    key-points समरी टाइप के लिए जीतने की दरें. ज़्यादा वैल्यू का मतलब बेहतर नतीजे हैं.

एक ही मॉडल के आउटपुट के लिए स्कोरिंग में काफ़ी कम अंतर था. हालांकि, औसत से हमें बड़े डेटा सेट को ज़्यादा भरोसेमंद तरीके से समझने में मदद मिलती है.

500 लेखों में, बेहतर बनाया गया Gemini Nano, बेस मॉडल के मुकाबले काफ़ी बेहतर परफ़ॉर्म किया.

  Headline TLDR खास बातें टीज़र
  बेस / LoRA के साथ बेस / LoRA के साथ बेस / LoRA के साथ बेस / LoRA के साथ
छोटा 74.74% / 89.12% 55.76% / 89.50% 71.02% / 89.18% 53.47% / 87.14%
सामान्य 73.10% / 87.89% 41.82% / 81.21% 69.59% / 84.08% 48.98% / 86.74%
लंबा 60.99% / 89.32% 50.51% / 84.85% 63.47% / 82.65% 62.65% / 87.55%
अलग-अलग तरह की समरी और लंबाई वाले 500 लेखों में, ऑटोरेअर की जीत का प्रतिशत. ज़्यादा संख्या का मतलब है कि बेहतर नतीजे मिलेंगे.

500 चैट लॉग के हमारे आकलन में भी यही बात सामने आई. इसमें, बेहतर बनाया गया Gemini Nano, बेस मॉडल से बेहतर परफ़ॉर्म किया.

  Headline TLDR खास बातें टीज़र
  बेस / LoRA के साथ बेस / LoRA के साथ बेस / LoRA के साथ बेस / LoRA के साथ
छोटा 70.59% / 96.15% 66.27% / 97.79% 81.60% / 97.40% 67.48% / 96.14%
ठीक-ठाक 76.67% / 95.13% 56.02% / 94.98% 82.60% / 97.20% 50.41% / 96.95%
लंबी 59.03% / 94.32% 65.86% / 95.58% 75.00% / 97.60% 70.94% / 97.16%
500 चैटलॉग में, अलग-अलग तरह की समरी और लंबाई के हिसाब से, ऑटोरेटर की जीत का प्रतिशत. ज़्यादा संख्या का मतलब है कि बेहतर नतीजे मिलेंगे.

इन नतीजों से पता चलता है कि हमने समरी की क्वालिटी को बेहतर बनाने के लिए जो बदलाव किए हैं वे कारगर साबित हुए हैं.

LoRA की मदद से बेहतर खास जानकारी

आम तौर पर, मॉडल के पैरामीटर में बदलाव करके फ़ाइन-ट्यूनिंग की जाती है. आधुनिक एआई मॉडल बहुत बड़े होते हैं. इसलिए, यह प्रोसेस धीमी और महंगी होती है. साथ ही, इसके लिए मॉडल की एक नई कॉपी को स्टोर करना ज़रूरी होता है.

सभी पैरामीटर बदलने के बजाय, क्या हम कुछ छोटे-मोटे अतिरिक्त टुकड़े जोड़ सकते हैं, ताकि मॉडल को अपनी पसंद की दिशा में ले जाया जा सके? इनका साइज़ छोटा होने की वजह से, इनकी ट्रेनिंग बहुत तेज़ी से होती है. यह लो-रैंक अडैप्टेशन (LoRA) का मुख्य सिद्धांत है. LoRA की मदद से, मॉडल के कुछ हिस्सों में कोई बदलाव नहीं होता. इसे अक्सर पैरामीटर को फ़्रीज़ करना कहा जाता है. इसके बाद, डेटा का एक छोटा सेट पेश किया जाता है, जिसमें कुछ सुधार किए जाते हैं. साथ ही, इन जोड़े गए डेटा पर ट्रेनिंग की जाती है.

असल में, आम तौर पर LoRA की मदद से, ओरिजनल पैरामीटर के 2% को भी ट्रेन किया जा सकता है. इसके बावजूद, आपको अपने आउटपुट में काफ़ी बदलाव दिखेंगे.

यह तरीका कारगर क्यों है? मॉडल के हर पैरामीटर में बदलाव किए बिना, कई तरह के व्यवहार (जैसे, नए स्टाइल, टास्क या जानकारी) को शामिल किया जा सकता है. इन बदलावों को, मॉडल के मौजूदा नॉलेज में छोटे पैटर्न या निर्देशों के तौर पर दिखाया जा सकता है. LoRA, ओरिजनल मॉडल को छुए बिना इन पैटर्न को बेहतर तरीके से कैप्चर करता है.

यहां कुछ उदाहरण दिए गए हैं, जिनमें LoRA को जोड़ने के बाद मिले नतीजों की तुलना, Gemini Nano के बेस मॉडल से की गई है.

हमने Gemini Nano से, जोशुआ ट्री नेशनल पार्क के बारे में विकिपीडिया के लेख के लिए एक छोटी हेडलाइन बनाने के लिए कहा, जो "लोगों का ध्यान खींच सके और कॉन्टेंट की खास बातों को बता सके".

Gemini Nano LoRA के साथ Gemini Nano
जोशुआ ट्री नेशनल पार्क का अनोखा लैंडस्केप और इतिहास जोशुआ ट्री: कैलिफ़ोर्निया में मौजूद नेशनल पार्क, जो रेगिस्तान के बीच में है और जहां मशहूर पेड़ हैं

इसके बाद, हमने Gemini Nano को Ratatouille के लेख के लिए एक छोटा टीज़र बनाने के लिए कहा. "एक ऐसा आकर्षक वाक्य लिखें जिससे उपयोगकर्ता पूरा टेक्स्ट पढ़ने के लिए प्रेरित हों."

Gemini Nano LoRA के साथ Gemini Nano
रॅटैटॉइल, फ़्रेंच प्रोवेंसल डिश है. इसमें, अक्सर टमाटर और लहसुन के साथ, उबली हुई सब्ज़ियां शामिल की जाती हैं. इसकी उत्पत्ति 18वीं शताब्दी में हुई थी. समय के साथ, इसे बनाने का तरीका भी बदल गया है. कुछ शेफ़, सब्ज़ियों के अलग-अलग स्वाद पर ज़ोर देते हैं, जबकि कुछ शेफ़ एक जैसा और बेहतर टेक्स्चर बनाने के लिए कोशिश करते हैं. फ़्रेंच मूल के अलावा, रतौतोली ने दुनिया भर के अलग-अलग खान-पान में मिलते-जुलते पकवानों को प्रेरित किया है. इनमें स्पेन का पिपरैड और भूमध्यसागरीय टाइयान शामिल हैं. साल 2007 में रिलीज़ हुई फ़िल्म "रेटैटूइल" ने इस डिश को और लोकप्रिय बनाया. इस फ़िल्म में, इस डिश को बनाने के अलग-अलग तरीके और लोगों के दिलों पर इसकी असर डालने की क्षमता को दिखाया गया है. Ratatouille, एक फ़्रेंच प्रोवेन्सल डिश है, जिसमें सब्ज़ियों को स्टू किया जाता है. इस डिश का ऐतिहासिक इतिहास बहुत दिलचस्प है. यह एक साधारण स्टू से, एक आधुनिक और बेहतरीन डिश में बदल गया है. इस डिश ने दुनिया भर के लोगों का ध्यान खींचा है.

रीयल-टाइम में अनुमान लगाने की सुविधा का डेमो

हमने एक इंटरफ़ेस बनाया है, जो LoRA के साथ Gemini Nano और Gemini Nano के आउटपुट की तुलना दिखाता है.

हमने Gemini Nano से, ओशन सनफ़िश लेख के लिए tldr शब्दों की खास जानकारी बनाने के लिए कहा.short याद रखें कि tldr और short के लिए, एक वाक्य में जवाब देना ज़रूरी है, जो "एक नज़र में पढ़ा जा सके."

रीयल-टाइम में देखें कि नतीजे बनाने और आउटपुट पढ़ने में कितना समय लगा.

बेहतर बनाने की सुविधा लागू करके, Gemini Nano बेहतर तरीके से खास निर्देशों का पालन करने वाली खास जानकारी जनरेट कर सकता है.

दर्शकों से जुड़ना और सुझाव/राय देना या शिकायत करना

हम इस बारे में आपका सुझाव या राय जानना चाहते हैं कि बेहतर बनाए गए Gemini Nano का, आपके जवाबों की खास जानकारी पर क्या असर पड़ा है.

ब्राउज़र में पहले से मौजूद एआई एपीआई के बारे में जानें. इनमें लार्ज लैंग्वेज मॉडल के साथ-साथ अन्य मॉडल का इस्तेमाल किया जाता है.

  1. चिन-य्यू लिन. 2004. ROUGE: खास जानकारी का अपने-आप आकलन करने वाला पैकेज. टेक्स्ट की खास जानकारी देने की सुविधा के बारे में, पेज 74 से 81 तक, बार्सिलोना, स्पेन. असोसिएशन फ़ॉर कंप्यूटेशनल लिंग्विस्टिक्स. ↩

  2. किशोर पापिनेनी, सलीम रूकोस, टॉड वार्ड, और वेई-जिंग झू. 2002. BLEU: मशीन से अनुवाद की सुविधा की परफ़ॉर्मेंस का अपने-आप आकलन करने का तरीका. असोसिएशन ऑफ़ कंप्यूटेशनल लिंग्विस्टिक्स (एसीएल '02) की 40वीं सालाना मीटिंग की प्रोसेडिंग में. ↩

  3. मौसमी अक्तर, नमन बंसल, और शुभा कांती कर्माकर. 2022. Revisiting Automatic Evaluation of Extractive Summarization Task: Can We Do Better than ROUGE?. Association for Computational Linguistics: ACL 2022 के नतीजों में, पेज 1547–1560, डबलिन, आयरलैंड. असोसिएशन फ़ॉर कंप्यूटेशनल लिंग्विस्टिक्स. ↩

  4. डेनियल ड्यूश और डैन रोथ. 2021. यह समझना कि कॉन्टेंट क्वालिटी मेट्रिक, खास जानकारी की क्वालिटी को किस हद तक मेज़र करती हैं. कंप्यूटेशनल नैचुरल लैंग्वेज लर्निंग पर 25वीं कॉन्फ़्रेंस की प्रोसेडिंग में, पेज 300–309, ऑनलाइन. असोसिएशन फ़ॉर कंप्यूटेशनल लिंग्विस्टिक्स. ↩