روش حفظ
1. فهرست‌برداری از نسخه‌ها با نمایه CDX
نمایه CDX در Internet Archive را با یک فرایند کارگر و دست‌کم شش ثانیه فاصله میان درخواست‌ها بررسی می‌کنیم و به محدودیت‌های اعلام‌شده برای تعداد درخواست‌ها، حجم داده و زمان اجرا پایبند می‌مانیم. صفحه‌بندی می‌کنیم و پس از هر صفحه نقطه بازیابی ذخیره می‌کنیم تا کار بدون تکرار از سر گرفته شود.
- پاسخ 403 یا رد دسترسی: توقف و بررسی دستی، بدون دور زدن.
- پاسخ 429 یا 503 یا صفحه Temporarily Offline: مکث تدریجی و محتاطانه، سپس توقف و ثبت وضعیت.
- هر درخواست را همراه با نشانی، وضعیت، حجم، مدت و نتیجه ثبت می‌کنیم.
2. چه چیزهایی را می‌شماریم
اندازه‌های جداگانه را با هم خلط نمی‌کنیم:
- ردیف‌های نسخه: رکوردهای CDX ذخیره‌شده؛ هر نسخه شامل یک URL و زمان ثبت آن است.
- urlkey: پیوندها به شکل یکسان‌شده آرشیو، از جمله گونه‌های دارای پارامترهای جست‌وجو.
- مدخل‌های معیار: یک مسیر صفحه پس از یکدست‌سازی پروتکل، زیردامنه www و شماره درگاه.
- اثر انگشت‌های دیجیتال متفاوت: محتوایی که بر پایه چکیده آرشیو تفاوت دارد.
- استخراج و انتشار دو مرحله جدا هستند. استخراج داخلی است؛ انتشار به مجوز نیاز دارد.
شناسه‌هایی مانند /mat/107647 شناسه‌اند، نه شمارش. از روی آن‌ها تعداد موارد را حدس نمی‌زنیم.
3. انتخاب نسخه برای هر نشانی
وضعیت هر نسخه، نوع HTML، حجم آن در مقایسه با میانه و تقدمش بر پایان محتوای اصلی را می‌سنجیم. تازه‌ترین نسخه معتبر را برمی‌گزینیم و اگر استخراج آن ناموفق باشد، به نسخه قدیمی‌تر بازمی‌گردیم. دلیل انتخاب و کنارگذاری در صفحه هر مورد ثبت می‌شود.
4. استخراج و ایمنی
- پاسخ خام را بدون تغییر، با اثرانگشت SHA-256 در مخزن خصوصیِ مبتنی بر نشانی محتوا نگه می‌داریم.
- استخراج‌گری محتاط عنوان، نویسنده، بخش و متن را می‌خواند و اسکریپت‌ها، قاب‌ها، سبک‌ها و گرداننده‌های رویداد را حذف می‌کند.
- تاریخ برداشت را تاریخ انتشار نمی‌دانیم. اگر صفحه تاریخی نداشته باشد، صریح می‌گوییم.
- دیدگاه خوانندگان و بخش‌های انجمن را چون محتوای کاربران‌اند کنار می‌گذاریم.
- کد آرشیوشده را هرگز روی دامنه خود اجرا نمی‌کنیم.
5. متن اصلی و ویرایش‌های بازبینی‌شده
متن اصلی استخراج‌شده تغییرناپذیر است؛ استخراج دوباره رکورد تازه‌ای می‌سازد. ویرایش علمی لایه‌ای جداگانه با شماره نسخه و یادداشت ویراستاری است. انتشار آن تنها پس از بررسی حقوق و تأیید دو پژوهشگر مستقل، به‌جز ویراستار آن، انجام می‌شود.
6. نگهداری و نسخه‌های پشتیبان
سیاست 3-2-1-1-0 هدف ماست: سه نسخه تأییدشده، روی دو رسانه، یکی خارج از محل، یکی تغییرناپذیر یا زیر نظر مدیریتی جداگانه، و صفر خطا در آزمون‌های بازیابی. وضعیت واقعی را منتشر می‌کنیم و تکثیر داده را پشتیبان‌گیری به شمار نمی‌آوریم.
7. هوش مصنوعی
برچسب‌ها، متن‌های پیاده‌شده یا خلاصه‌های خودکار، پیشنهادهایی در انتظار بازبینی انسانی‌اند. آن‌ها را به منبع نسبت نمی‌دهیم و برای صدور فتوا یا حکم به کار نمی‌بریم.