كيف نختبر، بالتفصيل

القاعدة التي تحسم كل شيء

يُحكم على البرنامج بالملف، لا برسالة حالته هو

هذا أهم ما في هذه الصفحة على الإطلاق. تنتهي كل جولة بالبحث عن أكبر ملف أنتجه البرنامج، في أي موضع من مخرجاته، وحساب بصمته مقابل نسخة معروفة الصحة. الحجم وMD5، في كل جولة، لا على عيّنة.

نفعل ذلك لأن إبلاغ البرنامج عن نجاحه ليس دليلًا موثوقًا. قِسنا برنامجًا يبلّغ done عن مهمة كان مجلد مخرجاتها فارغًا. وقِسنا آخر يبلّغ Completed وقد سلّم مجلدات أرشيف خامًا لم يفك ضغطها قط. وأداة إصلاح واسعة الانتشار تخرج برمز فشل بعد إصلاح ناجح. لم يكن أيٌّ من تلك البرامج كاذبًا؛ فسلاسل الحالة تعني ببساطة أشياء مختلفة لمؤلفين مختلفين، والقياس الذي يثق بها يقيس المفردات لا السلوك.

لذا فخط النهاية واحد للجميع: المحتوى موجود، بالحجم الصحيح، وبالبصمة الصحيحة. وإن توقف برنامج قبل ذلك فلا يحصل على زمن، ويُؤشَّر على العمود كله بدل حذفه بصمت. والبرنامج البطيء الذي ينهي أفضل حالًا من السريع الذي لا ينهي، وعلى الجدول أن يقول ذلك.

الفحوص غير البرّاقة

ما الذي يعمل قبل كل جولة وأثناءها

معظمها موجود لأن عطلًا صامتًا أنتج مرةً رقمًا سليم المظهر وقابلًا للنشر وخاطئًا. وكلٌّ منها يعمل الآن تلقائيًا ويوقف الجولة بدل أن يحذر.

• كل مزود يجيب قبل بدء الجولة. فالجولة التي تُشغَّل بينما مزودان معطلان تقيس انقطاعًا، وتبدو تمامًا كبرنامج بطيء.
• يُعرَّف الملف التنفيذي ببصمته قبل كل جولة، لا باسم الملف ولا بسلسلة الإصدار. فقد أبلغ إصداران من عندنا عن رقم الإصدار نفسه مع اختلافهما بـ 88 إيداعًا؛ ولا يفرّق بينهما إلا البصمة، والجداول تذكرها.
• كل برنامج يعمل كشِفرة أصلية. على أجهزة Apple قد يعمل مساعد مبنيّ خطأً في صمت تحت طبقة ترجمة، وهو ما يكلّف وقت معالجة يخص خيارنا في التحزيم لا شِفرة البرنامج. ونحن نفحص العملية العاملة، لا الملف وحده.
• تُرفع حدود الملفات المفتوحة للجميع، بالتساوي. يبدأ macOS البرامج بحد 256 ملفًا مفتوحًا، وقد تتجاوزه مجموعة اتصالات كاملة. والبرنامج الذي يصطدم به يميل إلى الاختفاء بلا تقرير انهيار، وهو ما يُقرأ تمامًا كإخفاق في البرمجية. وقد تبيّن أن عدم إنهاء أحد المنافسين ظاهريًا كان هذا؛ وبعد الرفع أنهى العملَ نفسه في 44 ثانية.
• تُسجَّل حركة القرص لكل جولة، وهو ما يعمل كذلك فحصًا لأن لا شيء آخر كان يستخدم الجهاز. تغطي تلك العدادات القرص كله لا برنامجًا واحدًا، فلو كانت مهمة ثانية تعمل لظهر عملها داخل قياساتنا. والقراءات المستوية عبر الجولة هي ما يجعلنا نعرف أن النتيجة تخص البرنامج الذي تسمّيه.
• كل برنامج يكتب في شجرة مخرجات خاصة به، وتُمسح الشجرة قبل كل جولة، فلا يمكن لأي تشغيلة أن تكتفي بملف تشغيلة سابقة.

وحيث يحتاج برنامج إلى إعدادات بعينها ليؤدي جيدًا، يحصل عليها، والجولة تذكر أيّها. أمثلة: تفعيل تسلسل الطلبات حيث يأتي البرنامج به معطلًا، وتعطيل فحص التكرار حين تُنزَّل المهمة نفسها مرارًا، وأخذ مساعدات فك الضغط من حزمة البرنامج نفسه لا من نسخة النظام. والغاية أن يُقاس كل برنامج في أفضل حالاته لا عند إعداداته الافتراضية، إذ إن الإعدادات الافتراضية نقاش منفصل عن القدرة.