संरक्षण की विधि
1. CDX अनुक्रमणिका से कैप्चर सूचीबद्ध करना
हम Internet Archive की CDX सूची को एक worker से, अनुरोधों में कम से कम छह सेकंड के अंतर पर पूछते हैं। अनुरोध, डेटा और समय की घोषित सीमाएँ रखते हैं। पृष्ठवार परिणाम लेकर हर पृष्ठ पर पुनरारंभ बिंदु सहेजते हैं, ताकि काम बिना दोहराव फिर चले।
- 403 या पहुँच निषेध पर रुककर मैन्युअल समीक्षा करते हैं; उसे दरकिनार नहीं करते।
- 429, 503 या Temporarily Offline पर सावधानी से बढ़ते अंतराल तक रुकें, फिर स्थिति दर्ज करें।
- हर अनुरोध का URL, स्थिति, आकार, अवधि और परिणाम लॉग किया जाता है।
2. हम किसकी गणना करते हैं
हम अलग-अलग मापों को अलग रखते हैं:
- कैप्चर पंक्तियाँ: संग्रहीत CDX रिकॉर्ड; एक कैप्चर में URL और समय-मुद्रा होती है।
- अलग urlkeys: अभिलेखागार के सामान्यीकृत URL, जिनमें query-string के अलग रूप भी हैं।
- मानक सामग्री: प्रोटोकॉल, www उपडोमेन और पोर्ट सामान्यीकृत करने के बाद प्रत्येक पृष्ठ-पथ।
- अलग-अलग डाइजेस्ट: अभिलेखागार के डाइजेस्ट के अनुसार भिन्न सामग्री।
- निष्कर्षण और प्रकाशन अलग चरण हैं। निष्कर्षण आंतरिक है; प्रकाशन के लिए अनुमति आवश्यक है।
/mat/107647 जैसे सामग्री पहचानकर्ता गणना नहीं हैं; उनसे सामग्री की संख्या नहीं आँकते।
3. हर URL के लिए कैप्चर चुनना
हम हर कैप्चर की स्थिति, HTML प्रकार, माध्यिका की तुलना में आकार और यह आकलन करते हैं कि वह मूल सामग्री की समाप्ति से पहले का है या नहीं। हम सबसे नया सही कैप्चर चुनते हैं; निष्कर्षण विफल होने पर पुराने कैप्चर पर जाते हैं। चयन और बहिष्करण के कारण हर सामग्री पृष्ठ पर दर्ज होते हैं।
4. निष्कर्षण और सुरक्षा
- मूल उत्तर को बिना बदले, उसके SHA-256 डाइजेस्ट सहित निजी content-addressed संग्रह में रखते हैं।
- सावधानीपूर्वक बनाया गया निष्कर्षक शीर्षक, लेखक, अनुभाग और पाठ पढ़ता है तथा scripts, frames, styles और event handlers हटाता है।
- कैप्चर तिथि को प्रकाशन तिथि नहीं माना जाता। पृष्ठ पर तिथि न हो तो हम यह स्पष्ट करते हैं।
- पाठक टिप्पणियाँ और फ़ोरम अनुभाग उपयोगकर्ता-निर्मित सामग्री होने के कारण बाहर रखे जाते हैं।
- अभिलेखित कोड हमारे डोमेन पर कभी चलाया नहीं जाता।
5. मूल पाठ और संपादित संस्करण
निकाला गया मूल पाठ अपरिवर्तनीय है; दोबारा निष्कर्षण से नया रिकॉर्ड बनता है। विद्वत्तापूर्ण संस्करण अलग परत है, जिसमें संस्करण संख्या और संपादकीय टिप्पणी होती है। अधिकार समीक्षा और उसके संपादक से अलग दो विद्वानों की स्वीकृति के बाद ही यह प्रकाशित होता है।
6. भंडारण और बैकअप
हमारी 3-2-1-1-0 नीति एक लक्ष्य है: दो माध्यमों पर तीन सत्यापित प्रतियाँ, एक स्थल से बाहर, एक अपरिवर्तनीय या अलग प्रशासन के अधीन, और पुनर्स्थापन परीक्षणों में शून्य त्रुटियाँ। हम वास्तविक स्थिति प्रकाशित करते हैं और प्रतिकृति को बैकअप नहीं मानते।
7. कृत्रिम बुद्धिमत्ता
स्वचालित टैग, प्रतिलेख और सारांश मानव समीक्षा हेतु सुझाव हैं; स्रोत को आरोपित नहीं और फ़तवे या निर्णय में उपयोग नहीं होते。