جنون شاخص ها: تأمل در استفاده از شاخص ها در خدمات درمانی

شاخص ها به طور فزاینده ای برای نظارت و ارزیابی عملکرد سیستم سلامت استفاده می شوند. با این حال ، اگرچه شاخص ها می توانند اطلاعات ارزشمندی را ارائه دهند ، اما محدودیت هایی نیز دارند. فواید شاخص ها در هنگام نقص جدی ("نامناسب ، نامعتبر یا آسان") ، قبل از اینکه سوال درست مطرح شود یا برای محرومیت از منابع دیگر اطلاعات استفاده شود ، دچار مشکل می شوند. این ارزیابی مهم از استفاده و سوء استفاده از شاخص ها به عنوان مثال عملی از یک مقام بهداشت کانادا برای نشان دادن مشکلات مشترک. این با برخی از راه حل ها برای بهینه سازی مزایای استفاده از شاخص نتیجه گرفت.

خلاصه

از این شاخص ها به طور فزاینده ای برای ارزیابی و نظارت بر سیستم بهداشت استفاده می شود. اگرچه شاخص ها می توانند اطلاعات معتبری را ارائه دهند ، اما محدودیت های خود را نیز دارند. در صورت نشان دادن کاستی های جدی (یا غیرقابل اعتماد ، غیر قابل اعتماد یا به راحتی 《دستکاری شده) ، مزایای شاخص ها تغییر می کند ، اگر آنها قبل از تدوین سؤالات کافی انتخاب شده باشند یا اینکه منحصراً از منابع دیگر اطلاعات استفاده می شوند. این ارزیابی استفاده مهم یا نادرست از شاخص ها نمونه های عملی از یک مقام بهداشت کانادا را به منظور گزارش تله های معمول ارائه می دهد. مقاله با ارائه راه حل هایی برای بهینه سازی مزایای استفاده از شاخص ها به پایان می رسد.

در دو دهه گذشته علاقه فزاینده ای به استفاده از شاخص های مراقبت های بهداشتی برای نظارت و ارزیابی عملکرد سیستم بهداشتی دیده شده است (لیلی 2000 ؛ Wait and Nolte 2005). این روند منحصر به فرد برای مراقبت های بهداشتی نیست ، اما به طور موازی با تجدید علاقه به شاخص های اجتماعی و اندازه گیری عملکرد به طور کلی (موریس 1998) به عنوان دولت ها به مطبوعات پاسخ می دهند تا هزینه ها را کاهش دهند ، تصمیمات مبتنی بر شواهد را بگیرند و در برابر عموم پاسخگو باشند (بیکر و آل . 1998). یک شاخص یک استفاده از آماری خلاصه برای ارائه نشانگر ساختاری است که به طور مستقیم قابل اندازه گیری نیست. به عنوان مثال ، ما نمی توانیم به طور مستقیم کیفیت مراقبت را اندازه گیری کنیم ، اما می توانیم فرآیندهای خاص (به عنوان مثال ، پایبندی به بهترین دستورالعمل های تمرین) یا نتایج (به عنوان مثال ، تعداد سقوط) را که به نظر می رسد مربوط به کیفیت مراقبت باشد ، اندازه گیری کنیم. سلامت کانادا ارزش گزارش های شاخص های ملی را در ترویج تصمیم گیری آگاهانه تأیید کرده است ("اجازه دهید دولت ها ... داده ها را مقایسه کنند ، تغییرات را پیگیری کنند ، به پیشرفت و شناسایی مناطقی برای بهبود" مراجعه کنند) و افزایش مسئولیت پذیری عمومی (Health Canada 2006) واد

بدیهی است که شاخص ها می توانند اطلاعات ارزشمندی را ارائه دهند. با این حال ، در اشتیاق ما برای نتایج قابل اندازه گیری ، به راحتی می توان از محدودیت های شاخص های خاص و به طور کلی شاخص ها غافل شد. از آنجا که انستیتوی اطلاعات بهداشتی کانادا (CIHI) شروع به انتشار اطلاعات در مورد کیفیت و ایمنی بیمارستان می کند ، ایستادن به عقب و در نظر گرفتن اینکه تأکید بر شاخص ها نیز در نظر گرفته می شود. برای مشاهدات مبتنی بر تجربه کار با تصمیم گیرندگان در تحقیق و ارزیابی واحد یک اداره بزرگ بهداشت شهری است.

دریافت پاسخ های درست

همه شاخص ها برابر نیستند

داده های به دست آمده از یک شاخص فقط به اندازه شاخصی که آنها را تولید می کند خوب است. همانطور که بنیاد میراث تحقیقات پزشکی آلبرتا (1998: 5) خاطرنشان کرد:

شاخص ها باید در واقع آنچه را که در نظر گرفته شده اند اندازه گیری کنند (اعتبار). اگر توسط افراد مختلف در شرایط مشابه اندازه گیری شود، باید پاسخ یکسانی را ارائه دهند (قابلیت اطمینان). آنها باید قادر به اندازه گیری تغییر (حساسیت) باشند. و آنها باید تغییرات را فقط در موقعیت مربوطه منعکس کنند (ویژگی). در واقعیت، دستیابی به این معیارها دشوار است و شاخص ها در بهترین حالت، معیارهای غیرمستقیم یا جزئی از یک وضعیت پیچیده هستند.

Mainz (2003) یک فرآیند دقیق را برای توسعه شاخص های مبتنی بر شواهد ترسیم کرده است. متأسفانه، چنین دستورالعمل هایی همیشه در عمل رعایت نمی شوند. اغلب ممکن است یک شاخص صرفاً «به دلیل وجود آن» بدون در نظر گرفتن اعتبار یا استحکام آن استفاده شود. در یک فرآیند برنامه‌ریزی ارزیابی سلامت جامعه استانی (CHA)، شرکت‌کنندگان بیش از 200 شاخص را از طریق یک فعالیت طوفان فکری شناسایی کردند که همه آنها - بدون گام بعدی اعمال معیارهای بالا - در CHA بعدی مورد استفاده قرار گرفتند.

محدودیت های یک اندیکاتور ممکن است واضح نباشد

حتی شاخص‌های تثبیت‌شده نیز گاهی اوقات نشان می‌دهند که دارای نقص‌های جدی هستند. به عنوان مثال، نرخ مرگ و میر تعدیل شده بر اساس ریسک (مانند نرخ مرگ و میر استاندارد شده بیمارستانی یا HSMR) به طور گسترده ای به عنوان شاخص ایمنی بیمارستان استفاده می شود. یک بررسی سیستماتیک از 18 مطالعه مرتبط تأیید کرد که به طور متوسط، بیمارستان‌هایی با نرخ مرگ و میر با خطر بسیار بالا، مراقبت ضعیف‌تری نسبت به بیمارستان‌هایی با نرخ بسیار پایین ارائه می‌دهند (توماس و هوفر 1998). با این حال، نتیجه گرفت که چنین نرخ‌هایی برای نتیجه‌گیری در مورد کیفیت یک بیمارستان خاص یا کیفیت نسبی دو بیمارستان غیرقابل اعتماد هستند، زیرا محاسبات به شدت در معرض خطای سیستماتیک و تصادفی هستند.

علاوه بر این، شاخص های مختلف کیفیت ممکن است هیچ ارتباطی با یکدیگر نشان ندهند. گریفیث و همکاران(2002) بیمارستان‌های آمریکایی را در مورد (الف) کیفیت فرآیندهای مراقبت مختلف، همانطور که توسط شورای مشترک اعتباربخشی سازمان‌های مراقبت‌های بهداشتی ارزیابی شد و (ب) چندین معیار کلی از نتایج مراقبت (مانند نرخ تعدیل‌شده مرگ‌ومیر، عوارض) مقایسه کرد. هیچ همبستگی قابل توجهی در بین معیارهای فرآیند مختلف، و نه بین معیارهای فرآیند و نتیجه ظاهر نشد. این نتایج نشان می دهد که حداقل برخی از رایج ترین معیارهای کیفیت بیمارستان دارای اعتبار مشکوک هستند.

اندیکاتورها اغلب قابل بازی هستند

یکی دیگر از دلایل نگرانی این است که بسیاری از شاخص ها "قابل بازی" هستند - یعنی کارکنان می توانند داده ها را نادرست معرفی کنند. در یک نظرسنجی انجمن پزشکی بریتانیا در سال 2007 از کارکنان بخش اورژانس، 31 درصد از پاسخ دهندگان گزارش دادند که بخش آنها داده ها را برای دستیابی به اهداف زمان انتظار دستکاری می کند. راهبردهای خلاقانه شامل برداشتن چرخ‌ها از چرخ دستی‌ها در اورژانس بود تا به عنوان تخت به حساب بیایند، و پذیرش بیماران بستری از طریق ED برای افزایش نسبت بیمارانی که در کمتر از چهار ساعت مشاهده می‌شوند (والی و همکاران 2006). شاخص هایی که به عنوان ناعادلانه یا نامناسب تلقی می شوند نه تنها ممکن است "بازی" را تشویق کنند، بلکه اعتماد به شاخص ها را به طور کلی کاهش دهند.

حتی زمانی که قصد «بازی» وجود ندارد، تغییرات در روش کدگذاری داده‌ها می‌تواند تغییرات واهی در ساختار اصلی ایجاد کند. به عنوان مثال، مرکز علوم بهداشت وینیپگ با به کارگیری دقیق دستورالعمل های ملی برای کدگذاری بیماران مراقبت تسکینی به کاهش 40 درصدی در HSMR خود دست یافت. با این حال، اگرچه اعداد بهبود یافتند، اما نرخ واقعی مرگ و میر بهبود نیافت. این حادثه بر لزوم احتیاط در تفسیر شاخص ها تاکید می کند.

یک اندیکاتور ضعیف ممکن است بدتر از عدم وجود شاخص باشد

اگرچه به محققان و تصمیم‌گیرندگان توصیه نمی‌شود که شاخص‌ها را صرفاً به این دلیل که نمی‌توانند کامل باشند کنار بگذارند، باید توجه داشته باشیم که اطلاعات نادرست می‌تواند بدتر از نداشتن اطلاعات باشد. یک شاخص ضعیف می تواند مشکلی را که وجود ندارد شناسایی کند یا مشکلی را که وجود دارد شناسایی نکند و اطمینان کاذب ارائه دهد. به عنوان مثال، شروع شیردهی اغلب به عنوان شاخص سلامت کودک استفاده می شود، زیرا نسبت به مدت شیردهی به راحتی قابل اندازه گیری است. با این حال، فقدان دستورالعمل‌های کدگذاری واضح، همراه با فشار بر تسهیلات برای افزایش نرخ شیردهی، به نظر می‌رسد که تعریفی از شروع به‌عنوان «مادر لباس خود را باز کرد و تلاش کرد» را ایجاد کرد. بسیاری از پرستاران اکنون ابراز نگرانی می کنند که نرخ بالای شروع شیردهی که در بسیاری از مناطق گزارش شده است ممکن است به عنوان مانعی برای اقدامات مورد نیاز عمل کند.

پرسیدن سوالات درست

شواهد اطلاعاتی یا داده محور؟

با تمرکز انحصاری بر شاخص‌ها، تصمیم گیرندگان این خطر را دارند که به جای اطلاع از شواهد، داده محور باشند (بوون و همکاران 2007). پاسخ دادن به موضوعاتی که شاخص‌های آن به آسانی در دسترس است، بسیار آسان است، در حالی که مسائل بالقوه مهم‌تری را که داده‌هایی برای آنها در دسترس نیست نادیده می‌گیریم. این تله می تواند مسائل خاصی را در فرآیند برنامه ریزی امتیاز دهد. تمایل به تمرکز بر مناطقی که داده‌ها در دسترس‌ترین هستند، افسانه صوفی مردی را به یاد می‌آورد که کلیدی را در خانه‌اش گم کرده بود، اما آن را زیر یک تیر چراغ در آن نزدیکی جستجو کرد، زیرا در آنجا نور بیشتری وجود داشت.

دم سگ را تکان می دهد

در برخی موارد، تصمیم گیرندگان ممکن است قبل از اینکه ایده روشنی از "کلید" مورد نظر خود داشته باشند، با شاخص ها مشورت کنند. توسعه فعالیت‌هایی پیرامون «آنچه داده‌های موجود می‌تواند به ما بگوید»، در حالی که یک دوره معقول برای محققان است، می‌تواند مسیر خطرناکی برای تصمیم‌گیرندگان باشد که ممکن است سوالات واقعی پیش روی سیستم مراقبت‌های بهداشتی را از دست بدهند. مانند دانشمندانی که در رمان داگلاس آدامز به نام «راهنمای تاسوعای کهکشان»، که ابرکامپیوترشان Deep Thought معنای زندگی را به عنوان «42» تعریف کرد، ممکن است لازم باشد بدانند که دانستن پاسخ تنها زمانی مفید است که فرد سؤال را بداند.

در مشاهدات ما، عبارت "ما به یک ارزیابی برنامه نیاز داریم" اغلب بلافاصله با "این شاخص ها را داریم" دنبال می شود، بدون در نظر گرفتن اینکه شاخص ها دقیقا به کدام سوال پاسخ می دهند. چنین مواردی مختص مراقبت های بهداشتی نیست. کارشناس ارزیابی، مایکل پاتون (1997) تمایل گسترده ای را برای کارکنان برنامه شناسایی کرده است که قبل از اینکه بدانند کدام ساختار اساسی را می خواهند اندازه گیری کنند، شاخص هایی را ایجاد کنند. به طور مشابه، گزارشی از دفتر علوم روستایی استرالیا از «بیشتر تلاش‌ها تا به امروز که تلاش برای توسعه شاخص‌ها در ابتدا، اغلب منجر به فهرست خرید بدون ساختار می‌شود، انتقاد کرد. رویکرد شاخص محور «گاری را جلوتر از اسب قرار می دهد» و اغلب شکست می خورد» (Chesson 2002: 2).

کار در زمینه مناسب

استفاده از شاخص ها ممکن است مقرون به صرفه نباشد

جمع آوری و تجزیه و تحلیل داده های شاخص یک تمرین تحقیقاتی خنثی نیست. در مقابل ، پیامدهای سازمانی قابل توجهی دارد. اگرچه معمولاً استفاده از داده های ثانویه به عنوان یک استراتژی نظارت بر کیفیت مقرون به صرفه فرض می شود ، اما این همیشه اینگونه نیست. پاسخ به یک شاخص ضعیف یا نامناسب ممکن است پیامدهای قابل توجهی در منابع داشته باشد. این می تواند باعث غفلت از مناطقی شود که "خوب به نظر می رسند" (حتی وقتی پزشکان می دانند مشکلی وجود دارد) و منجر به منابع قابل توجهی به مناطقی می شود که شاخص ها نشان می دهند مشکلی وجود دارد. حتی هزینه بررسی یک شاخص گمراه کننده می تواند بسیار زیاد باشد. از منابع قابل توجهی منطقه ای در بررسی و پاسخ به گزارش اخیر در مورد شاخص های ایمنی بیمار استفاده شد. در حالی که چند موضوع ایمنی مشخص شد ، بسیاری از "شاخص های" دیگر (از طریق حسابرسی و بررسی نمودار موارد ماشه) نشان داده شد تا ایمنی بلکه اثرات منطقه بندی و برخی از برنامه نویسی بیش از حد را منعکس کند. تصمیم گیرندگان ممکن است در هنگام استفاده از منابع کمیاب برای خرد کردن شاخص های بی فایده به جای مداخلات که به طور مستقیم ایمنی بیمار را بهبود می بخشد ، هزینه قابل توجهی را متحمل شوند.

شاخص ها ممکن است سوء تفاهم شوند

معنی و محاسبه شاخص ها اغلب برای کاربران شفاف نیست. به عنوان Lemieux-Charles و همکاران.(2003: 768) خاطرنشان كردند ، سازمان های بهداشت و درمان كانادا "تمایل به سرمایه گذاری در سیستم های اطلاعاتی به جای توسعه توانایی تحلیلی پرسنل خود دارند."بنابراین ، افرادی که باید نتایج را اعمال کنند ممکن است نتوانند آنها را به طور کامل درک کنند ، چه رسد به انتقاد از آنها. حتی آن دسته از تصمیم گیرندگان که حس روده دارند که داده ها "درست" نیستند ، ممکن است فاقد مهارت های اپیدمیولوژیک یا آماری لازم برای پیشبرد یک نقد باشند.

اعداد اغوا کننده هستند

"ایمان به اعداد" ، که از تعصب نسبت به روشهای کمی در مراقبت های بهداشتی تقویت شده است ، ممکن است کاربران را به نقص های روش شناختی یا داده های با کیفیت ضعیف نابینا کند. در یک کارگروه در حال بررسی پیش نویس گزارش با استفاده از شاخص ها ، شرکت کنندگان (که در مورد موضوع مورد بررسی به خوبی آگاه بودند) در ابتدا نسبت به شماره ها بسیار شکاک بودند و به موضوعات جدی کیفیت داده ها و در دسترس بودن اشاره کردند. با این وجود ، با شروع بررسی سند ، آنها بر اساس همان داده هایی که به طور مناسب به عنوان محدود مشخص کرده بودند ، به مقایسه می پردازند.

ترویج بحث و گفتگو انتقادی؟

غالباً ، شاخص ها به عنوان "استاندارد طلا" ارائه می شوند و ارائه دهندگان که سعی می کنند تصویر را با اطلاعات متنی تکمیل کنند ، متهم به "انکار" هستند. ما فرصتی برای شنیدن نسخه های توصیف کلاسیک Berwick (2004) در مورد مراحل انکار مرتبط با داده ها که از سکوت نگرانی های قانونی شنوندگان سوء استفاده شده است ، و اکتشافات بیشتر از آنچه در واقع این اعداد است ، می شنویم.

البته این درست است که ارائه دهندگان گاهی اوقات به داده هایی که در واقع صحیح هستند ، دفاعی واکنش نشان می دهند. با این حال ، این پیام که هر آنچه که متخصصان بهداشت و درمان اطلاعاتی می توانند به اشتراک بگذارند ، از اهمیت کمی برخوردار است ممکن است منجر به رابطه مخالف بین تأمین کنندگان داده ها و دست اندرکاران شود. از آنجا که چالش های پیش روی سیستم مراقبت های بهداشتی پیچیده است و نیاز به مشارکت همه ذینفعان دارد ، باید تمام تلاش شود تا اطمینان حاصل شود که بینش و تجربیات پزشکان هنگام تفسیر داده ها درج شده است.

نتیجه

شاخص‌ها از بین نمی‌روند – اما بی‌طرف نیستند و می‌توانند به آسانی تصمیمات خوب در تصمیم‌گیری‌های برنامه‌ریزی ضعیف نقش داشته باشند. محققان و تصمیم گیرندگان موظفند از شاخص ها به گونه ای مسئولانه و مدبرانه استفاده کنند.

راه حل ها چیست؟

در انتخاب شاخص ها، قبل از پیشنهاد، آنها را از نظر اعتبار، استحکام و قابلیت انتقال ارزیابی کنید. از یک نشانگر فقط "چون وجود دارد" استفاده نکنید.

انتخاب، توسعه و تفسیر شاخص را یک تمرین مشترک قرار دهید: اطلاعات و تخصص زمینه ای مهمی را که ارائه دهندگان می توانند به ارمغان بیاورند را شامل و ارزش گذاری کنید.

شاخص‌ها را به‌عنوان یک منبع مفید داده در نظر بگیرید، نه یک استاندارد طلایی که سایر شواهد بر اساس آن اندازه‌گیری می‌شوند. ادغام تفسیر شاخص ها با ارزیابی برنامه و فعالیت های پژوهشی کیفی.

بررسی مناطقی که در آنها اختلاف در منابع داده وجود دارد. اینجاست که بزرگترین یادگیری رخ خواهد داد.

بیشتر از همه، به یاد داشته باشید که یک شاخص فقط یک شاخص است (Patton, 1997: 159). منظور این است که "ابزار، صفحه یا پرچم" (CCHSA 1996) برای کمک به تصمیم گیری باشد، نه یک محرک برای تصمیم گیری.

با پیروی از این پیشنهادات، محققان و تصمیم گیرندگان ممکن است واقعاً به مزایای جمع آوری و تجزیه و تحلیل داده های شاخص پی ببرند.

اطلاعات مشارکت کننده

سارا بوون، مدیر، واحد تحقیق و ارزیابی، سازمان بهداشت منطقه ای وینیپگ، وینیپگ، MB.

سارا کریندلر، محقق، واحد تحقیق و ارزیابی، سازمان بهداشت منطقه ای وینیپگ، وینیپگ، MB.