IE seeks answers to the causal effect question, and its usefulness greatly depends on its validity, both internal and external. For an evaluation to have internal validity, the outcome of the control group needs to be indeed

a valid counterfactual and the estimated impact needs to be solely attributed to the program. In some cases, explanatory variables may not be well specified (referred to as omitted variables) or accurately measured (measurement error). There might be issues related to program assignment (imperfect compliance with the treatment or correlation between treatment assignment and outcome). Other factors such as attrition and externalities also put internal validity at risk. Any of these might cause low internal validity, undermining the inference of causality.

External validity means that results are applicable or generalizable to different populations, contexts, and outcomes. The threats to external validity essentially concern important interactions between the treatment

and individual characteristics, location, or time (Meyer 1995). The less the likelihood of violating external validity, the more confident policy-makers can be in applying the impact evaluation learning to populations beyond

the one under examination, or to other contexts.

While strong validity improves the quality of IE, incorporating IE in policy design a priori could help minimize threats to internal and external validity. Prospective IE can be incorporated in the process of policy design

so that valid counterfactuals and data are available in the future.

ترجمه:

ارزیابی تأثیر (IE) در پی ارائه پاسخ به پرسش اثر علّی و سودمندی آن، تا اندازه زیادی منوط به اعتبارِ داخلی و خارجی[1] آن است. بنابراین، برای آنکه ارزیابی برخوردار از اعتبار داخلی باشد، لازم است نتیجه گروه کنترل واقعاً خلاف واقعی قابل قبول باشد؛ در حالیکه تأثیر برآورد شده باید تنها به برنامه اسناد گردد. در چنین مواردی، متغیرهای توضیحی ممکن است به درستی مشخص نگردند (و تحت عنوان متغیرهای حذف شده، بدانها اشاره گردد) یا به درستی برآورد نشوند (که خطای برآورد است). این مسائل می‌توانند در ارتباط با تخصیص برنامه باشند (که سازگاری ناقص با آزمایش یا همبستگی میان تخصیص جهت آزمایش و نتیجه است). سایر عوامل مانند ریزش و اثرات خارجی نیز، اعتبار داخلی را در معرض ریسک قرار می‌دهند. هر یک از عوامل مذکور می‌توانند سبب اعتبار داخلی نازل گردیده؛ و استنتاج علّی را تضعیف نمایند.

اما اعتبار خارجی به معنای آن است که پیامدها، اطلاق‌پذیر یا قابل تعمیم به جمعیت‌ها، زمینه‌ها و نتایج مختلف هستند. تهدیدات اعتبار خارجی اساساً در ارتباط با تعاملات حائز اهمیت میان مشخصه‌های فردی و موقعیت مکانی یا زمانی و آزمایش هستند (مایر 1995). به این معنا که هر چه درستنمایی نقض اعتبار خارجی کمتر باشد؛ سیاستگذاران برخوردار از اطمینان بیشتر نسبت به اِعمال فراگیری ارزیابی تأثیر بر جمعیت‌ها- سوای جمعیت تحت آزمایش و یا سایر زمینه‌ها- خواهند بود.

بررسی‌ها بیانگر آنند که گرچه اعتبار قوی سبب بهبود کیفیت IE می‌گردد، اما در به کارگیری ارزیابی تأثیر (IE) در طراحی سیاست، یک مقدم می‌تواند یاریگر کاستن از تهدیدات اعتبار داخلی و خارجی باشد. ارزیابی تأثیر (IE) بلندمدت را می‌توان در فرآیند طراحی سیاست مورد استفاده قرار داد تا از این رهگذر، خلاف واقع قابل قبول و داده‌ها برای آینده موجودیت یابند.