সংরক্ষণ পদ্ধতি
1. ক্যাটালগ CDX সূচকের মাধ্যমে ক্যাপচার করে
আমরা একজন কর্মী সহ Internet Archive এর CDX সূচক এবং অনুরোধের মধ্যে কমপক্ষে ছয় সেকেন্ড, অনুরোধের সংখ্যা, ডেটা আকার এবং রানটাইমের জন্য ঘোষিত সীমার মধ্যে অনুসন্ধান করি। আমরা প্রতিটি পৃষ্ঠার পরে একটি চেকপয়েন্ট পেজিনেট করি এবং সংরক্ষণ করি যাতে নকল ছাড়াই কাজ পুনরায় শুরু করা যায়।
- 403 বা প্রবেশে অস্বীকৃতি পেলে থেমে হাতে পর্যালোচনা করি; বাধা এড়াই না।
- 429, 503 বা একটি অস্থায়ীভাবে অফলাইন পৃষ্ঠার জন্য, আমরা রক্ষণশীল ব্যাকঅফের সাথে অপেক্ষা করি, তারপর থামি এবং ফলাফল রেকর্ড করি।
- প্রতিটি অনুরোধ তার URL, স্থিতি, আকার, সময়কাল এবং ফলাফল দিয়ে লগ করা হয়।
2. আমরা কি গণনা করি
আমরা স্বতন্ত্র ব্যবস্থা আলাদা রাখি:
- ক্যাপচার সারি: সংরক্ষিত CDX রেকর্ড; একটি ক্যাপচার হল একটি URL এবং টাইমস্ট্যাম্প।
- স্বতন্ত্র urlkeys: URLs সংরক্ষণাগার দ্বারা স্বাভাবিক করা হয়েছে, ক্যোয়ারী-স্ট্রিং ভেরিয়েন্ট সহ।
- ক্যানোনিকাল আইটেম: প্রোটোকল, www সাবডোমেন ও পোর্ট এক করার পর এক পৃষ্ঠার পথ।
- স্বতন্ত্র পরিপাক: সংরক্ষণাগারের ডাইজেস্ট অনুযায়ী ভিন্ন বিষয়বস্তু।
- এক্সট্রাক্ট এবং প্রকাশিত বিভিন্ন ধাপ। নিষ্কাশন অভ্যন্তরীণ; প্রকাশনার অনুমতি প্রয়োজন।
/mat/107647-এর মতো আইটেম শনাক্তকারী গণনা নয়; এগুলো থেকে আইটেমের সংখ্যা অনুমান করি না।
3. প্রতিটি URL এর জন্য একটি ক্যাপচার নির্বাচন করুন
আমরা প্রতিটি ক্যাপচারের স্থিতি, এইচটিএমএল টাইপ, মধ্যকের বিপরীতে আকার এবং এটি মূল বিষয়বস্তুর শেষের পূর্ববর্তী কিনা তা মূল্যায়ন করি। আমরা নতুন সাউন্ড ক্যাপচার বেছে নিই, তারপর নিষ্কাশন ব্যর্থ হলে পুরোনোটির কাছে ফিরে যাই। নির্বাচন এবং বর্জন কারণ প্রতিটি আইটেম পৃষ্ঠায় রেকর্ড করা হয়.
4. নিষ্কাশন এবং নিরাপত্তা
- মূল প্রতিক্রিয়া অপরিবর্তিত রেখে ব্যক্তিগত কনটেন্ট-অ্যাড্রেসড স্টোরে রাখি, সঙ্গে SHA-256 ডাইজেস্ট।
- একটি রক্ষণশীল নিষ্কাশনকারী শিরোনাম, লেখক, বিভাগ এবং পাঠ্য পড়ে এবং স্ক্রিপ্ট, ফ্রেম, শৈলী এবং ইভেন্ট হ্যান্ডলারগুলিকে সরিয়ে দেয়।
- ক্যাপচারের তারিখকে প্রকাশনার তারিখ ধরি না। পৃষ্ঠায় তারিখ না থাকলে তা স্পষ্ট বলি।
- ব্যবহারকারী-তৈরি হওয়ায় পাঠকের মন্তব্য ও ফোরাম বাদ।
- সংরক্ষণাগার করা কোড আমাদের ডোমেনে কখনই কার্যকর করা হয় না।
5. মূল পাঠ্য এবং সম্পাদিত সংস্করণ
একটি নিষ্কাশিত মূল অপরিবর্তনীয়; আরেকটি নিষ্কাশন একটি নতুন রেকর্ড তৈরি করে। একটি পণ্ডিত সংস্করণ একটি সংস্করণ নম্বর এবং সম্পাদকীয় নোট সহ একটি পৃথক স্তর। এটি শুধুমাত্র সম্পাদক ছাড়া অন্য দুই স্বাধীন পণ্ডিত দ্বারা অধিকার পর্যালোচনা এবং অনুমোদনের পরে প্রকাশিত হয়।
6. স্টোরেজ এবং ব্যাকআপ
আমাদের 3-2-1-1-0 নীতি একটি লক্ষ্য: তিনটি যাচাইকৃত অনুলিপি, দুটি মিডিয়াতে, একটি অফ-সাইটে, একটি অপরিবর্তনীয় বা পৃথক প্রশাসনের অধীনে, এবং পুনরুদ্ধার পরীক্ষায় শূন্য ত্রুটি। আমরা প্রকৃত অবস্থা প্রকাশ করি এবং প্রতিলিপিকে ব্যাকআপ হিসাবে বিবেচনা করি না।
7. কৃত্রিম বুদ্ধিমত্তা
স্বয়ংক্রিয় ট্যাগ, ট্রান্সক্রিপ্ট বা সারাংশ মানুষের পর্যালোচনার অপেক্ষায় থাকা পরামর্শ। এগুলি উত্সের জন্য দায়ী নয় বা ফতোয়া বা রায় জারি করতে ব্যবহৃত হয় না।