मुख्य सामग्री पर जाएं
पृष्ठ 7.7

एल्गोरिदमिक पक्षपात और जवाबदेही (Algorithmic Bias and Accountability)

Read this in English →

RAS मुख्य परीक्षा, पत्र II, इकाई I, बिंदु 7: "Artificial Intelligence (AI) versus conscience in administrative decision making" (प्रशासनिक निर्णय में AI बनाम अंतरात्मा); निकट बिंदु 8: "accountability in governance" (शासन में जवाबदेही)

  • जनवरी 2026 के पाठ्यक्रम के अनुसार अद्यतन
  • पढ़ने का समय: लगभग 8 मिनट
2 अक्टूबर 2026 को सत्यापित

परीक्षा-भार (2018-2024 के प्रश्नों के आधार पर)

0 सीधे प्रश्न (नया विषय)। निकट: 2021 भाग ग Q12 (नैतिक बनाम प्रशासनिक निर्णय) और 2023 भाग ग Q13 (नैतिक द्वंद्व)। संबंधित UPSC प्रश्न: GS पत्र 4, 2024, Q1(a): "The application of Artificial Intelligence as a dependable source of input for administrative rational decision-making is a debatable issue." (प्रश्न-संख्या और शब्द द्वितीयक स्रोतों से; आधिकारिक पत्र से मिलान करें)। पूरा विषय-ढाँचा, छह सिद्धांत और दो काल्पनिक केस पृष्ठ 7.6 पर हैं; यह पृष्ठ पक्षपात और जवाबदेही पर छोटा, तेज़ पुनरावर्तन है।

30 सेकंड का सार

याद रखें

  • एल्गोरिदमिक पक्षपात: AI के नतीजों में बार-बार दिखने वाला अनुचित झुकाव, जो प्रायः अधूरे या पक्षपाती डेटा और डिज़ाइन से आता है। "पक्षपाती डेटा अंदर, पक्षपाती नतीजा बाहर।"
  • पाँच रास्तों से पक्षपात घुसता है (हमारा समूहीकरण): डेटा में पुराना इतिहास, डेटा में छूटे समूह, गलत प्रॉक्सी, डिज़ाइन और सीमा के चुनाव, और फ़ीडबैक-चक्र के साथ मशीन पर अंधा भरोसा।
  • दर्ज उदाहरण: नीदरलैंड बाल-लाभ घोटाला (मंत्रिमंडल का इस्तीफ़ा, 15 जनवरी 2021), अमेज़न का भर्ती-उपकरण (रॉयटर्स, 2018), अमेरिकी स्वास्थ्य-एल्गोरिदम (साइंस, अक्तूबर 2019), जेंडर शेड्स अध्ययन (2018)।
  • जवाबदेही का अर्थ: हर स्वचालित निर्णय का एक नामित मानव स्वामी, जो कारण बता सके, अपील सुने और सुधारे।
  • सूत्र वही: "AI प्रस्ताव दे, ज़िम्मेदार इंसान निर्णय ले" (पृष्ठ 7.6)।

भाग क के लिए छोटे उत्तर (15 शब्द तक)

याद रखें

  • प्रश्न: एल्गोरिदमिक पक्षपात क्या है?
  • उत्तर: AI के नतीजों में व्यवस्थित अनुचित झुकाव, जो पक्षपाती डेटा या डिज़ाइन से आता है।
  • जवाबदेही का अर्थ है कि हर स्वचालित निर्णय की ज़िम्मेदारी एक नामित इंसान की हो।
  • पिन कोड या उपनाम जैसा प्रॉक्सी जाति-धर्म का पक्षपात ढो सकता है।

1. शब्द

शब्दआशय
प्रॉक्सी (proxy)कोई ऐसा आँकड़ा जो सीधे नहीं पर किसी संवेदनशील बात का स्थानापन्न बन जाए (जैसे पिन कोड, उपनाम, पिछला खर्च)
स्वचालन-पक्षपात (automation bias)मशीन के उत्तर को अपने विवेक से ज़्यादा मान लेना
फ़ीडबैक-चक्रजिन्हें मशीन संदिग्ध बताती है उनकी जाँच ज़्यादा होती है, ज़्यादा गड़बड़ी मिलती है, और मशीन "सही" सिद्ध होती दिखती है
झूठा सकारात्मक / झूठा नकारात्मकनिर्दोष को संदिग्ध मानना / दोषी को छोड़ देना; कल्याण में गलत इनकार का नुकसान प्रायः ज़्यादा भारी
व्याख्येयता (explainability)कारण को सादे शब्दों में समझा पाना

2. पक्षपात कैसे घुसता है (हमारे पाँच रास्ते)

1. इतिहास का पक्षपात: पुराने निर्णय अनुचित थे तो मशीन वही सीखती और बड़े पैमाने पर दोहराती है।

2. छूटे या कम समूह: प्रशिक्षण-डेटा में कुछ समूह कम हों तो उनके लिए त्रुटि ज़्यादा।

3. गलत प्रॉक्सी या लक्ष्य: "स्वास्थ्य-ज़रूरत" की जगह "खर्च" को लक्ष्य बनाना।

4. डिज़ाइन और सीमा के चुनाव: "संदिग्ध" की रेखा कहाँ खिंचे, और झूठे सकारात्मक का बोझ किस पर पड़े।

5. फ़ीडबैक-चक्र और स्वचालन-पक्षपात: कागज़ पर "मानव-निगरानी" हो पर अधिकारी बिना सोचे हस्ताक्षर करे।

3. निष्पक्षता विवादित है

अमेरिकी COMPAS मामले में प्रोपब्लिका (23 मई 2016) ने झूठे सकारात्मक की दरों में नस्लीय अंतर बताया; निर्माता ने इसे नकारा। विवाद का मूल दो अलग "निष्पक्षता" परिभाषाएँ हैं। विस्कॉन्सिन सर्वोच्च न्यायालय (जुलाई 2016, लूमिस) ने स्कोर को सीमाओं की चेतावनी के साथ अनुमति दी (पृष्ठ 7.6)। सीख: "निष्पक्ष" का अर्थ पहले तय करें, और त्रुटियों का समूह-वार परीक्षण करें।

4. दर्ज उदाहरण

प्रकरणक्या हुआसीख
नीदरलैंड बाल-लाभ घोटाला2005 से 2019 के बीच लगभग 26,000 अभिभावकों पर गलत धोखाधड़ी-आरोप। डच डेटा संरक्षण प्राधिकरण ने पाया कि (दोहरी) राष्ट्रीयता को जोखिम-संकेतक बनाकर आवेदन अपने आप जोखिम-चिह्नित हुए; कर प्रशासन पर 2.75 मिलियन यूरो का जुर्माना (दिसंबर 2021)। संसदीय रिपोर्ट "Unprecedented Injustice" (17 दिसंबर 2020); मंत्रिमंडल का इस्तीफ़ा 15 जनवरी 2021संवेदनशील गुण पर टिका मॉडल + आँख मूँदकर पालन = बड़े पैमाने की हानि
अमेरिकी स्वास्थ्य-एल्गोरिदम (ओबरमेयर आदि, साइंस, अक्तूबर 2019)अध्ययन में पाया गया कि स्वास्थ्य-ज़रूरत की जगह स्वास्थ्य-खर्च को प्रॉक्सी बनाने से अश्वेत मरीज़ व्यवस्थित रूप से कम "जोखिमग्रस्त" आँके गए, यद्यपि समान स्कोर पर वे ज़्यादा बीमार थेसही लगने वाली प्रॉक्सी भी पक्षपात ढोती है
अमेज़न का भर्ती-उपकरण2014 में शुरू; 10 वर्ष के आवेदनों पर प्रशिक्षित (जो अधिकतर पुरुषों के थे); "women's" शब्द वाले आवेदन और दो महिला-महाविद्यालयों के स्नातक नीचे आँके गए; 2015 तक पक्षपात पहचाना गया; रॉयटर्स की रिपोर्ट (10 अक्तूबर 2018) के अनुसार टीम 2017 की शुरुआत तक भंगइतिहास का पक्षपात मशीन में उतर आता है; सुधार के बाद भी नई राहें बन सकती हैं
जेंडर शेड्स (2018)परखी गई चेहरा-पहचान प्रणालियों में गहरे रंग की महिलाओं की त्रुटि दर लगभग 35 प्रतिशत तक, हल्के रंग के पुरुषों की 1 प्रतिशत से कमसमूह-वार परीक्षण ज़रूरी

भारत से "रिपोर्टेड" संदर्भ (हरियाणा परिवार पहचान-पत्र, पेंशन रुकने की खबरें) पृष्ठ 7.6 में, "बताया गया है" की सावधानी के साथ।

5. जवाबदेही: कौन किसके प्रति उत्तरदायी

नीति-निर्माता: कहाँ AI का उपयोग हो, कहाँ नहीं (प्रतिकूल निर्णय और उच्च जोखिम में मानव अनिवार्य)।

विभाग-प्रमुख (उपयोगकर्ता): तैनाती का निर्णय, लक्ष्य के चुनाव, निगरानी और शिकायत-व्यवस्था।

हस्ताक्षर करने वाला अधिकारी: अपना विवेक लगाना; "सिस्टम ने कहा" बचाव नहीं (पृष्ठ 7.6: न्यूरेम्बर्ग IV, आरेन्ट)।

विक्रेता: पारदर्शिता, परीक्षण-डेटा और ऑडिट-पहुँच।

जवाबदेही के औज़ार (हमारी सूची): नामित स्वामी · निर्णय-लॉग · सादे शब्दों में कारण · सुनवाई और अपील का अधिकार · स्वतंत्र ऑडिट (समूह-वार त्रुटि) · त्रुटि-रिपोर्टिंग और रोक का बटन · खरीद की शर्तों में मॉडल और डेटा की जाँच-पहुँच।

कानूनी और नीतिगत आधार (देखें पृष्ठ 7.6): मेनका गांधी (1978): प्रक्रिया न्यायसंगत, निष्पक्ष और युक्तिसंगत हो; पुट्टस्वामी (24 अगस्त 2017): निजता और अनुपात; DPDP अधिनियम 2023 की धारा 8(3) (निर्णय में प्रयुक्त डेटा की पूर्णता, सटीकता और संगति) और धाराएँ 11 से 13 (सूचना, सुधार, शिकायत); NITI आयोग का उत्तरदायी AI दस्तावेज़ (फ़रवरी 2021); MeitY की AI शासन-दिशानिर्देश (5 नवंबर 2025), जिनमें जवाबदेही और "People First" (मानव-निगरानी) शामिल हैं। DPDP अधिनियम में यूरोपीय GDPR के अनुच्छेद 22 जैसा केवल-स्वचालित-निर्णय के विरुद्ध अधिकार नहीं है (पृष्ठ 7.6)।

6. अधिकारी की पाँच-प्रश्न जाँच-सूची (हमारी), उपकरण अपनाने से पहले

1. यह किस डेटा पर बना? कौन छूटा?

2. यह किसे गलत चिह्नित कर सकता है, और झूठे सकारात्मक का बोझ किस पर?

3. क्या मैं नागरिक को सादे शब्दों में कारण बता सकता हूँ?

4. नागरिक कहाँ अपील करेगा, और कितने दिन में सुनवाई?

5. समूह-वार त्रुटि हम कैसे और कितनी बार नापेंगे?

उत्तर में कैसे लगाएँ: परिभाषा → एक घुसपैठ का रास्ता (प्रॉक्सी या इतिहास) → एक दर्ज उदाहरण (नीदरलैंड या ओबरमेयर) → जवाबदेही के तीन औज़ार → "AI प्रस्ताव दे, इंसान निर्णय ले"।

काल्पनिक केस

इस पृष्ठ के लिए अलग केस नहीं; पृष्ठ 7.6 के दोनों काल्पनिक केस ("पेंशन का जोखिम-स्कोर" और "सैकड़ों फ़ाइलों पर दस्तखत") पक्षपात और जवाबदेही दोनों पर हल किए गए हैं।

विचारक और उद्धरण

नामविचारप्रयोग-योग्य पंक्ति
हन्ना आरेन्ट (1963)विचारहीनता से हानि"the fearsome, word-and-thought-defying banality of evil"
न्यूरेम्बर्ग सिद्धांत IV (1950)आदेश पूर्ण बचाव नहीं"provided a moral choice was in fact possible to him"
आयुक्त होम्स, रोबोडेट रिपोर्ट (7 जुलाई 2023)स्वचालित हानि, अनसुनी चेतावनियाँ"venality, incompetence and cowardice"
महात्मा गांधीभीतर की आवाज़"The 'still small voice' within you must always be the final arbiter when there is a conflict of duty." (यंग इंडिया, 4 अगस्त 1920)

चित्र: पाइपलाइन, रिसाव-बिंदु और जाँच

  1. डेटा

    नोड (धूसर): · रिसाव: · जाँच

  2. इतिहास का पक्षपात, छूटे समूह

  3. डेटा की समीक्षा

  4. मॉडल और लक्ष्य

    तीर। नोड (नीला): · रिसाव: · जाँच

  5. गलत प्रॉक्सी, सीमा के चुनाव

  6. समूह-वार त्रुटि का परीक्षण

  7. स्कोर या सिफ़ारिश

    तीर। नोड (नीला): · रिसाव: · जाँच

  8. अपारदर्शिता

  9. सादे कारण, निर्णय-लॉग

  10. अधिकारी का निर्णय

    तीर। नोड (नारंगी): · रिसाव: · जाँच

  11. स्वचालन-पक्षपात

  12. प्रतिकूल निर्णय पर मानव समीक्षा, लिखित कारण

  13. नागरिक पर असर

    तीर। नोड (नेवी): · जाँच

  14. अपील, शिकायत, स्वतंत्र ऑडिट, फ़ीडबैक

  15. AI प्रस्ताव दे; ज़िम्मेदार इंसान निर्णय ले।

    पाद-पट्टी

नाम से कोई प्रश्न नहीं (2018, 2021, 2023, 2024)।

पहले इसी अवधारणा का प्रश्न: नहीं मिला (नया पाठ्यक्रम-बिंदु)। हमारा अनुमान (RPSC की सूचना नहीं): भाग क में "एल्गोरिदमिक पक्षपात क्या है" या "मानव-निगरानी (human-in-the-loop)"; भाग ख में पक्षपात के स्रोत या जवाबदेही।

आम गलतियाँ

याद रखें

  • मान लेना कि मशीन तटस्थ है; या उलटे, AI का पूर्ण निषेध लिख देना।
  • "संवेदनशील गुण हटा दिए तो पक्षपात खत्म" लिखना; प्रॉक्सी और इतिहास का पक्षपात छूट जाता है।
  • जवाबदेही में केवल "कंपनी" या केवल "मशीन" को ज़िम्मेदार बताना; अंतिम ज़िम्मेदारी निर्णय लेने वाले इंसान की भी है।

आत्म-जाँच (5 प्रश्न)

याद रखें

  • एल्गोरिदमिक पक्षपात की परिभाषा लिखिए।
  • पक्षपात घुसने के कोई तीन रास्ते बताइए।
  • नीदरलैंड प्रकरण से क्या सीख मिलती है (साल सहित)?
  • जवाबदेही के तीन औज़ार कौन-से हैं?
  • "सिस्टम ने कहा" बचाव क्यों नहीं है?