Salud Pública de México

Validación psicométrica de instrumento para evaluar contexto de mejora de calidad y acreditación de hospitales

ORIGINAL ARTICLE

Validación psicométrica de instrumento para evaluar contexto de mejora de calidad y acreditación de hospitales
[Psychometric validation of an instrument to evaluate the context of quality improvement and accreditation of hospitals]

Mario Zapata-Vanegas, MD, PhD,(1) Pedro J Saturno-Hernández, MD, D en SP.(2)

(1) Universidad CES. Colombia.
(2) Instituto Nacional de Salud Pública. México.

Zapata-Vanegas M, Saturno-Hernández PJ. Validación psicométrica de instrumento para evaluar contexto de mejora de calidad y acreditación de hospitales. Salud Publica Mex. 2018;60:528-538. https://doi.org/10.21149/9127

Fecha de recibido: 2 de octubre de 2017 • Fecha de aceptado: 17 de mayo de 2018
Autor de correspondencia: ario A Zapata. Facultad de Medicina, Universidad CES. Calle 10°, núm. 22-04. Medellín, Colombia
Correo electrónico: mzapata@ces.edu.co

CONTENIDO

  1. Resumen
  2. Abstract
  3. Introducción
  4. Material y Métodos
  5. Resultados
  6. Discusión
  7. Referencias

Resumen

Objetivo. Adaptar y validar instrumento para medir elementos del contexto que pueden favorecer iniciativas de mejoramiento de la calidad y acreditación de hospitales. Material y métodos. Se adaptó y validó modelo y cuestionario Model for Understanding Success in Quality (MUSIQ) para aplicación en países hispanoparlantes y uso específico para proyectos de acreditación de hospitales. Se realizó un análisis factorial confirmatorio (test de Bartlett e índice Kaiser-Meyer-Olkim) del constructo teórico de sus dimensiones y se comprueba consistencia interna en estudio realizado en muestra de 54 hospitales de mediana y alta complejidad en Colombia. Resultados. Instrumento con cuatro dimensiones de contexto (ambiente, macrosistema, microsistema, equipo de calidad), compuestas por 23 elementos medidos a través de 35 variables. El análisis factorial mostró significancia estadística y adecuación de las dimensiones que tuvieron también buena consistencia interna. Conclusión. Instrumento adaptado con utilidad para monitorizar elementos del contexto que pueden favorecer iniciativas de mejora y acreditación en hospitales.

Palabras clave: estudios de validación; mejoramiento de la calidad; acreditación de hospitales

Abstract

Objective. To adapt and validate an instrument to measure the context factors which favor quality improvement initiatives and accreditation of hospitals. Materials and methods. The model and questionnaire Model for Understanding Success in Quality (MUSIQ) is adapted and validated for application in Spanish-speaking countries and its specific use in hospital accreditation projects. The theoretical construct of its dimensions is assessed by confirmatory factor analysis (Bartlett test and Kaiser-Meyer-Olkim index) and internal consistency (Cronbach’s a), in a study carried out in a sample of 54 hospitals of medium and high complexity in Colombia. Results. Instrument with four dimensions of context (environment, macrosystem, microsystem, quality team), composed of 23 elements that are measured through 35 variables. Factor analysis showed statistical significance and adequacy of the dimensions, which had also good internal consistency. Conclusion. Adapted instrument with usefulness for measurement of context elements that can promote initiatives of improvement and accreditation in hospitals.

Keywords: validation studies; quality improvement; hospital accreditation


Los expertos en el tema han debatido por décadas cual sería la mejor definición de calidad con una mejor aplicación práctica para el entorno en el cual se use.1-3 Estas definiciones y su alcance son necesarias porque guían, dando validez, y facilitan la implementación de métodos de evaluación, que a su vez permiten la medición del estado y avance de procesos estructurales y organizativos de hospitales en busca del mejoramiento de la calidad (MC). A la vez, se encuentra la complejidad de una organización hospitalaria,4 cuyos componentes e interrelaciones deben comprenderse para lograr definir “qué” debe medirse, para proponer luego “cómo” hacer esta medición y a través de qué instrumentos fiables y válidos.5,6

En la última década, varios autores7-9 coinciden en la necesidad de realizar investigaciones que permitan profundizar y ganar en evidencia para entender y definir el rol del contexto y de los elementos que lo conforman en el mejoramiento de la calidad en servicios de salud. En esta línea Kaplan, Provost, Froehle y Margolis propusieron tras una amplia revisión sistemática el modelo MUSIQ (The Model for Understanding Success in Quality),8 el cual identifica en su versión original elementos clave del contexto que pueden favorecer el éxito en la implementación de proyectos que busquen mejorar la calidad, organizándolos de acuerdo con el nivel en el cual se considera que actúan: ambiente, macrosistema y microsistema. De esta forma, el contexto, a la luz del modelo propuesto, incluye características del ambiente externo, de la organización en su nivel macro y de la operación de sus servicios en su nivel micro en donde se provee la atención directa a pacientes y usuarios; el modelo incluye igualmente la interrelación con el equipo humano gestor para la mejora de la calidad.

MUSIQ8 se complementó con la elaboración de un instrumento de medición para los elementos del contexto identificados, validándose el constructo teórico mediante la determinación de la interrelación entre sus variables componentes.9 Este instrumento se propuso originalmente para la identificación de elementos y factores que pueden influenciar el éxito en la implementación de proyectos de mejoramiento de la calidad en general; en este caso, se ha considerado de interés explorar su utilidad para el caso particular de la identificación y nivel de desarrollo de elementos y factores del contexto que pueden facilitar el logro de la acreditación de hospitales,5,10 como iniciativa específica considerada de relevancia en el ámbito de la gestión de la calidad en un número creciente de sistemas de salud.11

En consecuencia, el objetivo del presente estudio es la adaptación cultural y comprobación de la validez psicométrica del modelo e instrumento MUSIQ en este entorno, con un enfoque específico adicional para el caso de los procesos de acreditación.

Material y métodos

Se utilizó como referencia el modelo y cuestionario MUSIQ,8,9 el cual es producto de una amplia revisión sistemática, con intervención adicional de expertos cuya opinión fue recopilada con técnicas Delphi y de Grupo Nominal12 y posterior comprobación empírica de sus cualidades psicométricas,9 antecedentes que le dan fuerte validez facial y de contenido. Se realizó una adaptación idiomática y transcultural13 y se complementaron modelo y herramienta con elementos adicionales, proponiendo un nuevo uso específico para el instrumento en relación con el estado de avance y desarrollo de elementos que puedan facilitar el logro de la acreditación de hospitales. La validación está soportada en un estudio realizado entre julio de 2014 y marzo de 2016, periodo utilizado para la recolección, procesamiento y edición de información de una muestra de 54 hospitales de mediana y alta complejidad en Colombia,14 de los cuales se obtuvo aceptación por escrito para la participación en el estudio; el protocolo para este estudio fue evaluado y aprobado por el Comité Operativo de Investigaciones de la Facultad de Medicina de la Universidad CES en Colombia en el mes de julio de 2014, y acorde con la normatividad en este país,15 se clasificó como “investigación sin riesgo”.

Adaptación cultural y validación del instrumento

Previa autorización de autor principal Heather Kaplan, se realizó adaptación transcultural del instrumento MUSIQ9 para su aplicación en países hispanoparlantes, siguiendo la metodología propuesta en la literatura internacional.16,17 Se realizaron dos traducciones independientes, versiones que fueron comparadas para evaluar semántica, manejo del idioma (expresiones), aspectos conceptuales técnicos y posibles diferencias contextuales, lo cual produjo versión única del instrumento que conserva consistencia con la versión original para no perder los esfuerzos de validez de contenido ya obtenidos. La nueva versión se somete a revisión individual por tres expertos (gerente de hospital acreditado, subdirector médico de hospital universitario y docente investigador universitario), quienes evalúan instrucciones, estructura del instrumento, distribución, extensión, suficiencia explicativa y claridad de las expresiones. Posteriormente, se realizó evaluación y ajuste adicional teniendo en cuenta las anotaciones de los expertos y se procede al ajuste técnico que enfatiza el enfoque para evaluar avances del proceso de acreditación en hospitales. En este proceso, algunos de los elementos se descartan, se añaden otros, en otros casos se modifican para enfocarlos a proyectos de acreditación en lugar de proyectos de mejora en general, y algunos, en lugar de ser medidos con un solo ítem, se miden con varios (escalas), según se explica a continuación.

Ajustes de contenido técnico de la encuesta

El instrumento original mide cuatro dimensiones de contexto (ambiente externo, macrosistema, microsistema, y área o equipo de calidad), conformadas por 24 elementos que se caracterizan a través de 35 ítems dirigidos a evaluar el éxito potencial en la implementación de proyectos específicos que busquen el mejoramiento de la calidad.8,9 Tres de los 24 elementos de contexto se miden con varios ítems (escalas) y el resto con ítems individuales.

En el instrumento adaptado se modifica la escala proceso de toma de decisiones del equipo del proyecto de mejoramiento18 y se eliminaron cuatro elementos (uno de ellos, “normas del equipo de mejora” medido con una escala de cuatro ítems19), todos ellos referidos a la realización de proyectos de mejora específicos a nivel micro; igualmente se modificó la redacción de dos ítems/elementos de la dimensión Ambiente para referirlos al caso concreto del logro de la acreditación del hospital. Se añaden también tres elementos nuevos que fueron considerados relevantes: “búsqueda de prestigio a través de la acreditación” en la dimensión Ambiente, “estabilidad y condiciones laborales del recurso humano” en la dimensión Macrosistema, e “involucramiento de los médicos en la gestión de calidad del hospital” en la dimensión Microsistema. Por otra parte, se decide medir, con escalas de varios ítems, tres de los elementos medidos con un solo ítem en el instrumento original (“cultura organizacional para la calidad” en el Macrosistema, “cultura de calidad” en el Microsistema, y “liderazgo” en el Microsistema) dada su potencial relevancia y la existencia de escalas previamente validadas.

En todas las escalas utilizadas para caracterizar los respectivos ítems de contexto se realizó adaptación transcultural, validación de contenido y valoración de la consistencia interna en el nuevo escenario de aplicación hispano parlante, una de ellas adoptada del instrumento original20 (prioridad en el desarrollo del talento humano); tres tomadas de instrumentos validados y publicados previamente por otros autores21,22 (“cultura en el Macrosistema”, “cultura en el Microsistema” y “trabajo en equipo”), y una nueva escala que tiene como soporte el estudio publicado por Edmondson23 que busca explorar el liderazgo de los equipos de trabajo.

El nuevo instrumento consta, como el original, de 35 ítems para caracterizar cuatro dimensiones de contexto; si bien mide 23 elementos en lugar de 24, enfoca de manera específica elementos y factores para el logro de la acreditación y mide más elementos con escalas en lugar de un solo ítem.24 La decisión de utilizar un número mayor de escalas se tomó en el proceso de adaptación como vía para lograr mayor solidez y consistencia en los resultados de las respuestas al cuestionario, siguiendo un criterio similar de otros autores que han considerado que “es más útil preguntar por una serie de variables diseñadas para capturar la información del constructo de una característica de interés”.25

El cuadro I describe las dimensiones, elementos y número de ítems del instrumento original y las modificaciones introducidas en el proceso de adaptación.


Cuadro I. Ajustes de contenido en la adaptación y validación del instrumento MUSIQ, para la evaluación del contexto de mejora de la calidad y acreditación en hospitales de mediana y alta complejidad. Colombia, 2016

Número de ítem y elementos del contexto. Instrumento original

Elementos del contexto. Instrumento adaptado

Número de ítem instrumento adaptado

Observaciones de la adaptación

Ambiente

1. Motivaciones externas

Motivaciones externas-mercado

1

Énfasis en presiones del mercado para la competitividad

2. Tarea estratégica importante para la Organización

Decisión estratégica de la Junta o de sus dueños

2

Se modifica y da relevancia a decisión estratégica de los dueños de la organización para lograr la acreditación

3. Grupos externos patrocinan la implementación de un proyecto de MC

Patrocinio de instancias del Estado o sector privado, nacional o internacional para apoyar acreditación

3

Énfasis en apoyo recibido para avanzar en proyectos que tengan como meta el logro de la acreditación

-

Búsqueda de prestigio (nuevo elemento de contexto ambiente)

4

Se explora la búsqueda de prestigio como un fin de la acreditación

Macrosistema

4. Liderazgo organizacional para el mejoramiento de la calidad

Liderazgo del nivel directivo para el mejoramiento de la calidad

5

Explora el involucramiento y compromiso de altos directivos con la calidad

5. Existencia de un líder para la implementación del proyecto de calidad

Existencia de director o líder para gestión de calidad en el hospital

6

Pregunta por existencia permanente de área específica y un líder directivo que gerencia la calidad en la organización

6. Cultura organizacional para el mejoramiento de la calidad

Cultura organizacional para el mejoramiento de la calidad

7-10

Se incluye nueva escala validada de cuatro preguntas para abordar con mayor profundidad la fiabilidad en este22

7. Madurez organizacional

Madurez organizacional

11

Se amplía el alcance y definición de madurez considerándola en procesos, programas y proyectos del hospital

8-11. Prioridad en la fuerza de trabajo para el MC21

Prioridad en el desarrollo del talento humano para el MC

12-15

Se adopta la escala de otro instrumento21

12. Disponibilidad de recursos

Disponibilidad de recursos

16

Se amplía el alcance del concepto “disponibilidad de recursos” a aquéllos económicos, de personal y de soporte necesarios para el mejoramiento de la calidad

13. Infraestructura tecnológica (datos) para el mejoramiento de la calidad

Sistemas de información de apoyo para el mejoramiento de la calidad

17

Se explora la facilitación para el mejoramiento de la calidad con los sistemas de información administrativos y clínicos existentes en hospital

-

Estabilidad y condiciones laborales del talento humano en el hospital (nuevo elemento del contexto Macrosistema)

18

Tema no considerado en instrumento original. Se explora si las formas de contratación favorecen estabilidad y poca rotación del personal en hospital

Microsistema

14. Liderazgo en el Microsistema evaluado desde la facilitación para la implementación de un proyecto de calidad

Liderazgo en el Microsistema, evaluado desde el reconocimiento de la identidad de quien lidera un servicio, su involucramiento en la gestión de calidad y soporte para el trabajo en equipo

19, 20, 23

Se explora la consistencia interna de escala sobre liderazgo en Microsistema. En ella se evalúa si se reconoce dentro del equipo de trabajo quien ejerce liderazgo de un servicio en el hospital, si este liderazgo se hace tangible al involucrarse con el equipo para la gestión de calidad y si se convierte en soporte para el trabajo en equipo. Subescala que tiene origen en otro instrumento24

15. Motivación en el Microsistema evaluado desde perspectiva de compromiso por obtener resultados de mejoramiento esperados en implementación de proyecto de calidad

Motivación en el Microsistema evaluado desde perspectiva de compromiso de miembros de un servicio hospitalario para obtener resultados de mejoramiento en la calidad de atención y seguridad del paciente

21

La motivación se explora en logro de mejores resultados en calidad de atención y seguridad del paciente en un servicio hospitalario y no desde la perspectiva única de un proyecto

16. Capacidad en el Microsistema para implementar métodos y utilizar herramientas que busquen el mejoramiento de la calidad

Capacidad en el Microsistema definido como un servicio hospitalario específico, para implementar métodos y herramientas que busquen mejoramiento de la calidad

22

Se define un servicio de hospitalización para evaluar capacidad del equipo humano en utilización de métodos y herramientas para el mejoramiento de la calidad

17. Cultura en Microsistema, evaluada como el reconocimiento del valor del trabajo en equipo, de la comunicación y del compromiso con el mejoramiento de la calidad

Cultura evaluada en el Microsistema, incluyendo reconocimiento de objetivos y resultados, buen trato en el equipo, sentimiento de logro de resultados y calidad en procesos

23-25

Se introduce una escala validada de tres variables para esta exploración vs. pregunta única del instrumento original22

-

Involucramiento de los médicos en la gestión de calidad del Hospital (variable anidada en la dimensión Microsistema)

26

Se explora el involucramiento de médicos que prestan servicios en el Microsistema, con la gestión de la calidad

Equipo de calidad

18. Liderazgo e involucramiento del líder del proyecto de MC

Liderazgo e involucramiento del director área de calidad del hospital

27

Se identifica el liderazgo del director de calidad del hospital, más allá que como líder de proyecto de MC especifico

19. Diversidad profesional del equipo del proyecto de MC

Diversidad profesional del equipo del área o departamento de calidad del hospital

28

Se explora la diversidad de perfiles profesionales del equipo permanente para gestionar la calidad del hospital

20. Miembros del equipo del proyecto de MC tienen experiencia previa en implementación de proyectos similares

Experiencia especifica del equipo de calidad en temas de mejoramiento de la calidad en hospitales

29

Se hace énfasis en la experiencia especifica que los miembros del área o departamento de calidad del hospital tienen en el tema

21-26. Proceso de toma de decisiones y normas del equipo del proyecto de mejoramiento de la calidad19

Trabajo en equipo para la innovación del equipo del área o departamento de calidad del hospital

30-33

Reemplaza la escala de toma de decisiones y se incluye una nueva de cuatro preguntas para abordar con énfasis en la facilitación para la innovación23

27. Habilidades y capacidad técnica del Equipo del proyecto para el MC

Habilidades y capacidad técnica del equipo del área o departamento de calidad del hospital

34

Se hace igual énfasis en la capacidad de los integrantes del equipo para utilizar técnicas y tecnologías que apoyen la gestión para la calidad del hospital

28. Explora el conocimiento de trabajo conjunto del equipo del proyecto de MC en otros proyectos

Estabilidad del equipo que gestiona la calidad en el hospital

35

Su enfoque esta dado a la estabilidad y conocimiento de trabajo entre los miembros de la dependencia de calidad del hospital

29. Un miembro del equipo del proyecto de MC es un experto en el tema

-

No se considera en el nuevo instrumento, su enfoque original está dirigido específicamente a un proyecto

30-33. Normas del equipo de MC20

-

No se considera en el nuevo instrumento, su evaluación se realizó en la variable trabajo en equipo y en la nueva escala de cultura

34. Participación activa de un médico en el equipo del proyecto de MC

-

No se considera en este nuevo instrumento, se considera ya abordado en variables que exploran diversidad de perfiles profesionales del equipo

35. Evento disparador que facilita el lanzamiento de este proyecto

-

No se considera en el nuevo instrumento dado que en el original se considera para un proyecto específico. En el caso del instrumento ajustado, su alcance se considera satisfecho en la variable decisión estratégica de junta o dueños

MUSIQ: Model for Understanding Success in Quality; MC: Mejoramiento de la Calidad

MC: mejoramiento de la calidad


Escala de valores para las respuestas

Con respecto a la medición de los ítems o variables utilizada en el instrumento adaptado, se diseña una escala de valoración de cinco opciones, más acorde con lo que es habitual en este entorno cultural en comparación con los siete del instrumento original, manteniendo el lineamiento para su construcción realizado por su autor Rensis Likert.26 Con respecto a la redacción y presentación de alternativas de respuesta, el nuevo instrumento invierte el orden e inicia desde una respuesta negativa (totalmente en desacuerdo) a una respuesta positiva (totalmente de acuerdo) en busca de mejorar fiabilidad en las respuestas. En el caso de elementos medidos con varios ítems (escalas), al igual que para el instrumento original se considera como resultado el promedio del valor de los ítems evaluados que se incluyen en la escala.

Prueba piloto y de desempeño del Instrumento

Se realizó una prueba inicial en tres hospitales para evaluar el desempeño del instrumento y definir los ajustes finales en la estructura de su redacción y contenido. Se autodiligenciaron nueve encuestas por directivos y líderes de procesos y se obtuvo como resultado ajustes en la redacción de variables para mejorar la comprensión del instrumento y fiabilidad del mismo.

El instrumento se diseñó para ser diligenciado por los líderes representativos de cada una de las dimensiones del contexto que se miden (Ambiente, Macrosistema, Microsistema y Equipos de calidad). Así, se definió que el diligenciamiento en cada una de las dimensiones debe darse por:

El instrumento adaptado fue finalmente aplicado en un estudio para evaluar avances en la implementación de procesos de acreditación en una muestra de 54 hospitales en Colombia; 36 hospitales (67%) eran de origen jurídico privado y 18 hospitales (13%) públicos-estatales; 17 hospitales (31%) del total de la muestra eran de mediana complejidad y 37(69%) de alta complejidad.

Fiabilidad del instrumento adaptado y validación de constructo

Dado que el instrumento propone cuatro dimensiones del contexto para ser evaluadas (Ambiente, Macrosistema, Microsistema y Equipos de calidad), se realizó la exploración de la fiabilidad de éstas comprobado la consistencia interna en cada una de ellas mediante la prueba alfa de Cronbach y a través de análisis factorial confirmatorio del constructo teórico propuesto en el modelo MUSIQ,8 para lo cual se confirmó la existencia de correlación e intercorrelación entre variables a través del test de Bartlett y su significancia estadística y el índice de Kaiser-Meyer-Olkim (KMO).

Resultados

La adaptación y ajuste técnico del instrumento del modelo MUSIQ8,9 para la medición de las condiciones y estado del contexto que puede facilitar las iniciativas de mejora de la calidad y, en específico, los procesos de acreditación de hospitales, mide cuatro dimensiones que integran 23 elementos del contexto (cuadro II), que resumen 35 ítems; 18 elementos del contexto se abordan a través de variables únicas y cinco que se exploran a través de escalas compuestas de tres o cuatro ítems (figura 1, cuadro I).


Cuadro II. Definición de factores del contexto para la evaluación de iniciativas de mejora de la calidad y acreditación en hospitales de mediana y alta complejidad. Colombia, 2016

Número

Elementos del contexto

Definición

Ambiente

1

Motivaciones externas-mercado

Presiones del mercado e incentivos del entorno estimulan el hospital para el logro de la acreditación en salud

2

Decisión estratégica de junta o dueños

La junta directiva o dueños del hospital tienen y señalan como objetivo de desarrollo el logro de la acreditación en salud

3

Patrocinio externo para el desarrollo de proyectos de MC

Es tangible el apoyo de entidades gubernamentales o no gubernamentales en asesoría, dinero, entrenamiento u otros recursos, para avanzar en el logro de la acreditación en salud

4

Prestigio institucional

Búsqueda de reconocimiento y prestigio en el entorno del desempeño del hospital, como consecuencia de ser hospital acreditado

Organización (macrosistema)

5

Liderazgo directivo en el hospital para la calidad

Involucramiento y compromiso de altos directivos del hospital (gerente, subgerentes, directores) con el mejoramiento de la calidad en el hospital

6

Existencia de director o gerente para gestión de calidad

Un profesional designado y responsable de manera permanente para la gerencia de la calidad en toda la organización

7

Cultura para el MC en la organización

Un hospital dinámico, en donde todo su talento humano asume retos y riesgos para su desarrollo y con prácticas innovadoras que buscan diferenciarse para ser los mejores

8

Madurez organizacional para el MC

El mejoramiento de la calidad está integrado como foco primordial de atención en todos los procesos, programas y proyectos del hospital

9

Prioridad de desarrollo del talento humano para el MC

Desarrollo en el hospital del talento humano, a través del entrenamiento e involucramiento en actividades de mejoramiento de la calidad, acompañado de un sistema de estímulos e incentivos que valore sus esfuerzos y logros

10

Disponibilidad de recursos para el MC

Valoración y asignación de recursos económicos, humanos y de soporte necesarios para los programas de mejoramiento de la calidad en el hospital

11

Sistemas de Información de apoyo para el MC

Nivel en que los sistemas de información administrativos y clínicos existentes, facilitan la gestión y son soporte para el mejoramiento de la calidad en el hospital

12

Estabilidad laboral

Modalidades de contratación y sistema de pago que favorecen la estabilidad del talento humano en el hospital

Servicio hospitalario (microsistema)

13

Liderazgo en el microsistema para el MC

Se reconoce al líder en el servicio evaluado en el hospital, y éste guía y se involucra con el equipo humano para las actividades de gestión de calidad en el servicio

14

Motivación para el MC

Disposición y propósito en el personal de un servicio hospitalario para obtener mejores resultados en la calidad de atención y la atención segura de pacientes

15

Capacidades en uso de herramientas para el MC

Capacidad del equipo humano de un servicio hospitalario para la utilización de métodos y herramientas para el mejoramiento de la calidad

16

Cultura en el microsistema para el MC

Conjunto de características que facilitan el trabajo en equipo y el reconocimiento y sentimiento de logro de las metas alcanzadas con niveles de calidad en los procesos de un servicio hospitalario

17

Involucramiento de los médicos

Los médicos que se desempeñan en un servicio hospitalario (microsistema) se involucran y hacen parte de las actividades para el mejoramiento de la calidad

Área-equipo de calidad

18

Liderazgo para gestionar la calidad

Se identifica y reconoce al líder de calidad del hospital y éste se involucra en las actividades de mejoramiento de toda la organización

19

Diversidad del equipo de calidad

El equipo de trabajo para el mejoramiento de la calidad en el hospital está compuesto por diferentes profesiones y con experiencia diversa en el sector salud

20

Experiencia y conocimiento específico en MC

Los miembros del equipo de calidad han trabajado y tienen experiencia especifica en el tema de mejoramiento de la calidad de hospitales

21

Trabajo en equipo

El equipo de calidad complementa su trabajo compartiendo información y generando iniciativas propias que son tenidas en cuenta para su implementación y se toman decisiones en consenso para el mejoramiento de la calidad

22

Habilidades en técnicas y procedimientos para el MC

Capacidad de los integrantes del equipo de calidad para utilizar técnicas y métodos que apoyen la gestión para la calidad del hospital

23

Estabilidad del equipo de calidad

Estabilidad laboral y conocimiento del trabajo y de las habilidades individuales entre los miembros de la dependencia de calidad del hospital

MC: Mejoramiento de la Calidad


1

La dimensión del contexto Ambiente se compone de cuatro elementos explorados por igual número de ítems que, en el instrumento adaptado, pueden mediar para el logro de la acreditación de hospitales; en ella se destacan la “decisión de la junta directiva o dueños” del hospital para impulsar los procesos de acreditación y lograr la acreditación; este nuevo y más amplio enfoque reemplaza el elemento “importancia estratégica de la implementación de un proyecto de calidad” del modelo original.8 Se conserva el elemento “motivación externa”, enfocando su importancia al mercado y a la posibilidad de que la acreditación pueda favorecer la competitividad de hospitales; se evalúa la “existencia de patrocinio o apoyo externo” para el desarrollo de procesos en busca de acreditación y se incluye un nuevo elemento en esta dimensión, la “búsqueda de prestigio institucional”.

La dimensión de contexto Macrosistema que corresponde a toda la organización hospitalaria se compone de ocho elementos del contexto, seis de ellos evaluados con variables individuales (liderazgo directivo, existencia de director o gerente de calidad, madurez organizacional, disponibilidad de recursos, sistemas de información y estabilidad laboral), y dos (cultura en la organización y prioridad para el desarrollo del talento humano), que se exploran a través de escalas validadas compuestas de cuatro variables cada una (cuadro I, figura 1). La mayor diferencia en esta dimensión con el modelo original tiene que ver con la inclusión de una escala validada para la medición de la cultura en la organización21 y la consideración conceptual como ajuste propuesto para el nuevo uso del modelo y que los elementos desarrollo del talento humano, disponibilidad de recursos y sistemas de información son soporte para el avance y logro de la acreditación de los hospitales.

La dimensión de contexto Microsistema se compone de cinco elementos, tres de ellos evaluados con variables individuales (motivación, capacidades en uso de herramientas e involucramiento de médicos para el mejoramiento de la calidad), y dos (liderazgo-cultura en el microsistema para el mejoramiento de la calidad)21,23 que se exploran a través de escalas validadas compuestas de tres variables cada una (cuadro I, figura 1). La diferencia en esta dimensión con respecto al modelo original muestra la utilización de las escalas mencionadas en lugar de elementos de variables o ítems únicos; igualmente en esta dimensión del contexto se propone la inclusión y evaluación del elemento “involucramiento de los médicos” en todas aquellas actividades encaminadas para el mejoramiento de la calidad.

La dimensión del contexto Equipo de calidad, cuyos elementos se muestran transversales a toda la organización hospitalaria, incluidos sus Microsistemas (figura 1), está compuesta por seis elementos, cinco de ellos evaluados con variables individuales (liderazgo para gestionar la calidad, diversidad del equipo de calidad, experiencia y conocimiento específico, habilidades en técnicas y procedimientos para el mejoramiento de la calidad y estabilidad del equipo de calidad), y uno (“trabajo en equipo”)22 que se explora a través de una escala compuesta de tres variables (cuadro I, figura 1). Esta dimensión se refiere a la existencia de las capacidades humanas, técnicas y de conocimiento de un equipo humano que lidere la calidad en salud en los hospitales y que puedan apoyar para su desarrollo los procesos de acreditación, y no únicamente la implementación de un proyecto específico que busque el mejoramiento de la calidad.

La validación del instrumento para el nuevo uso en la medición de avances en el logro de la acreditación en salud tuvo en cuenta la valoración de consistencia interna de las subescalas utilizadas a través de la prueba alfa de Cronbach, como una manera de aproximación a la validación de constructo del instrumento.27 Se tomó como referencia valores entre 0.70 y 0.90 como resultado de buena consistencia interna, valores que se alcanzaron en las cinco subescalas utilizadas en el instrumento adaptado (cuadro III). Para los 18 elementos restantes del contexto, su medición se realiza teniendo como base la resultante de la construcción de variables producto de la adaptación de las definiciones que surgen del panel de expertos, utilizada como estrategia original en el desarrollo del modelo MUSIQ8 (cuadro II).


Cuadro III. Consistencia interna de escalas utilizadas para la evaluación del contexto de mejora de la calidad y acreditación en hospitales de mediana y alta complejidad. Colombia, 2016

Escala

Nombre variable-elemento del contexto

Alfa de Cronbach-Referencia

Alfa de Cronbach*

1 (nueva)

Cultura para MC en la organización22

0.85

0.77

2 (adaptada)

Prioridad desarrollo del talento humano21

0.82

O.74

3 (nueva)

Liderazgo en microsistema para MC24

0.80

0.82

4 (nueva)

Cultura para el MC en microsistema22

0.80

0.82

5 (nueva)

Trabajo en equipo para la calidad e innovación23

0.79

0.75

* Consistencia interna valorada en este estudio; MC: mejoramiento de la calidad; (nueva):nueva escala no incluida en el instrumento original; (adaptada):escala adaptada del instrumento original


Resultados del análisis factorial confirmatorio

Las pruebas estadísticas de Bartlett y Kaiser-Meyer-Olkin (KMO) fueron utilizadas para verificar la validez estructural de las dimensiones del contexto del instrumento propuesto y verificar correlación entre las variables que lo componen (cuadro IV). Los resultados del coeficiente KMO se aproximan en general a 1 (uno): Macrosistema (0.819), Microsistema (0.857), Equipos de Calidad (0.865) y el resultante en la dimensión Ambiente es el más bajo (0.645), pero valores por encima de 0.50 en este indicador sugieren adecuación del análisis factorial.28 Este resultado es consistente con el obtenido a través de prueba de esfericidad de Bartlett, el cual arroja significancia estadística para las cuatro dimensiones evaluadas (cuadro IV).


Cuadro IV. Consistencia interna y validez estructural de las dimensiones del contexto para la evaluación de iniciativas de mejora de la calidad y acreditación en hospitales de mediana y alta complejidad. Colombia, 2016

Dimensión (número de variables)

Alfa de Cronbach

Test esfericidad de Bartlett (chi-cuadrado; valor p)

Índice KMO*

1. Ambiente (4)

0.62

24 474 – 0.000

0.645

2. Macrosistema (14)

0.90

370 242 – 0.000

O.819

3. Microsistema (8)

0.90

263 955 – 0.000

0.857

4. Equipo calidad (9)

0.88

233 307 – 0.000

0.865

* test de Kaiser-Meyer-Olkin


Discusión

La adaptación del Instrumento del modelo MUSIQ se propuso en este estudio para seguimiento y evaluación del avance de las condiciones contextuales que tengan como meta la acreditación, de manera similar a su uso original que buscaba reconocer aquellos elementos del contexto que facilitan el éxito en un proyecto de mejoramiento de la calidad en hospitales. Esta adaptación del instrumento se realizó siguiendo una metodología que cuida de la validez facial y de contenido ya obtenidas, pero con adecuación del enfoque en la construcción de variables hacia el nuevo propósito específico de valorar el desarrollo de los elementos del contexto que pueden facilitar el logro de la acreditación.

Algunos ajustes realizados al instrumento se proponen como mejoras:

  1. Se adoptó una escala de respuestas más corta como opciones de respuesta, en busca de tener un menor número de alternativas en sus extremos, lo cual facilita la definición de una posición de los encuestados con respecto al grado de acuerdo o desacuerdo con respecto a los elementos evaluados; acorde a Hartley29 en su reporte Some thoughts on Likert-type scales, las escalas que utilizan cinco o siete puntos son comunes y la investigación existente sobre el tema no sugiere una razón para preferir una escala sobre la otras; otros autores30 proponen la utilización de escalas entre 4 y 7 alternativas, lo cual refuerza la modificación hecha al instrumento;

  2. Se realizó ajuste de la posición de opciones de respuesta de la variable, definiendo el extremo desfavorable a la izquierda y la valoración positiva a la derecha, situación que está justificada en los hallazgos de investigación en los que se observan resultados ligeramente más altos cuando la pregunta es invertida, esto es, la escala comienza con el valor positivo más alto a la izquierda.29

  3. Mención especial merece el tratamiento y análisis al punto medio en escalas tipo Likert y su interpretación en este instrumento. En términos generales, este punto puede ser interpretado como “indeciso”, “no sabe”, “neutral”, “sin opinión”, o aún eliminarse31 como opción de selección, pero en todo caso debe definirse su utilidad en la interpretación de los resultados. Para el caso particular de esta propuesta, las respuestas obtenidas y que se ubiquen en el punto central de la escala se interpretan como un punto intermedio de avance en el logro y desarrollo de los elementos del contexto para la acreditación en salud de hospitales, dado que la escala elaborada sólo etiquetó los extremos “totalmente en desacuerdo” y “totalmente de acuerdo”; así entonces, la selección de un punto superior al “total desacuerdo”, incluyendo el punto intermedio, se interpreta como el camino y un nivel de avance hacia niveles “de acuerdo” para lograr la implementación y desarrollo del elemento del contexto que se esté midiendo. Este ajuste e interpretación del instrumento puede convertirlo en herramienta para la monitorización del avance de componentes contextuales para el proceso de acreditación y puede facilitar la definición de acciones efectivas de intervención y mejora.

En síntesis, se obtiene un instrumento con cuatro dimensiones, que contienen 23 elementos del contexto que pueden favorecer iniciativas de mejora de calidad, en general, y el logro de la acreditación, en particular, y cuya medición se aborda a través de 35 ítems.24 La adaptación del instrumento del modelo MUSIQ realizada a través de este estudio sigue el camino propuesto por sus autores8,9 de avanzar en investigaciones que busquen su mejora y la aplicación práctica para la valoración de condiciones que favorezcan el mejoramiento de la calidad; debe ser probado en muestras más grandes de hospitales que permitan confirmar los resultados de validez psicométrica obtenidos en este estudio.

Declaración de conflicto de intereses. Los autores declararon no tener conflicto de intereses.

Referencias

1. Palmer RH. Considerations in defining quality of health care. En: Palmer RH, Donabedian A, Povar GJ, (eds.). Striving for quality in health care: an inquiry into policy and practice. Ann Arbor: Health Administration Press, 1991;1-53.

2. Robledo H, Meljem J, Fajardo G, Olvera D. De la idea al concepto en la calidad en los servicios de salud. Rev Conamed. 2012;17(4):172-5.

3. Saturno-Hernández PJ. Capítulo 1. Marco conceptual para la gestión de la calidad. En: Saturno-Hernández PJ. Métodos y herramientas para la realización de ciclos de mejora de la calidad en servicios de salud. Cuernavaca, México: Instituto Nacional de Salud Pública, 2015;13-38.

4. Cortés-Martinez A. La economía de la salud en el hospital. Rev Gerenc Polit Salud. 2010;9(19):138-49.

5. Boaden R, Harvey G, Moxham C, Proudlove N. Quality Improvement: theory and practice in healthcare. Coventry, UK: NHS Institute for Innovation and Improvement, 2008.

6. Walshe K. Understanding what Works and why in quality improvement: the need for theory driven evaluation, Int J Qual Health Care. 2007;19(2):57-9. https://doi.org/10.1093/intqhc/mzm004

7. Øvretveit J. Understanding the conditions for improvement: research to discover which context influences affect improvement success. BMJ Qual Saf. 2011;20(supl 1):i18-23. https://doi.org/10.1136/bmjqs.2010.045955

8. Kaplan HC, Provost LP, Froehle CM, Margolis PA. The Model for Understanding Success en quality (MUSIQ): building a theory of context in healthcare quality improvement. BMJ Qual Saf. 2012;21:13-20. https://doi.org/10.1136/bmjqs-2011-000010

9. Kaplan HC, Froehle CM, Cassedy A, Provost LP, Margolis P. An exploratory analysis of the Model for Understanding Success in Quality. Health Care Manage Rev. 2013;38(4):325-38. https://doi.org/10.1097/HMR.0b013e3182689772

10. Viswanathan HN, Salmon JW. Accrediting Organizations and Quality Improvement. Am J Manag Care. 2000;6(10):1117-29.

11. Kirsten B, Vist G, Bukholm G, Barach P, Tjomsland O. A systematic review of hospital accreditation: the challenges of measuring complex intervention effects. BMC Health Services Research. 2015;15:280. https://doi.org/10.1186/s12913-015-0933-x

12. Van de Ven AH, Delbecq AL. The nominal group as a research instrument for exploratory health studies. Am J Public Health. 1972;62(3):337-42. https://doi.org/10.2105/AJPH.62.3.337

13. Callegaro J, Figueiredo B, Ruschel D. Cross-cultural adaptation and validation of psychological instruments: Some considerations. Paidéia. 2012;22:423-32. https://doi.org/10.1590/S0103-863X2012000300014

14. Zapata-Vanegas MA. Factores predictivos del resultado para el mejoramiento de la calidad en salud (tesis). Murcia, España: Universidad de Murcia, 2016 [citado septiembre 2017]. Disponible en: http://hdl.handle.net/10803/396357

15. República de Colombia, Ministerio de Salud. Resolución 8430 de 1993, “Por la cual se establecen las normas científicas, técnicas y administrativas para la investigación en salud”. Bogotá: República de Colombia, Ministerio de Salud, 1993 [citado septiembre 2017]. Disponible en: https://www.minsalud.gov.co/sites/rid/Lists/BibliotecaDigital/RIDE/DE/DIJ/RESOLUCION-8430-DE-1993.PDF

16. Escobar M. Adaptación transcultural de instrumentos de medida relacionados con la salud. Enferm Clin. 2004;14:102-6. https://doi.org/10.1016/S1130-8621(04)73863-2

17. Scheneider A, Szecsenyi J, Barie S, Joest K, Rosemann T. Validation and cultural adaptation of a German version of Physician’ Reactions to Uncertainty scales. BMC Health Serv Res. 2007;7:81. https://doi.org/10.1186/1472-6963-7-81

18. Shortell SM, Levin DZ, O`Brien JL, Hughes EF. Assessing the evidence on CQI: Is the glass half empty or half full? Hosp Health Serv Adm. 1995;40(1):4-24.

19. Lemieux-Charles L, Murray M, Bakeer GR, Barnsley J, Tasa K, Ibrahim SA. The effects of quality improvement practices on team effectiveness; A mediational model. J Organ Behav. 2002;23(5):533-53. https://doi.org/10.1002/job.154

20. RAND Corporation. Improving chronic illness care evaluation. Healthcare Organization survey for Quality Management Director, 1999 [citado septiembre 2016]. Disponible en: https://www.rand.org/content/dam/rand/www/external/health/projects/icice/pdfs/qmd.pdf

21. Helfrich CD, Li YF, Mohr DC, Meterko M, Sales AE. Assessing an organizational culture instrument base on the Competing Values Framework: Exploratory and confirmatory factor analyses. Implement Sci. 2007;2:13. https://doi.org/10.1186/1748-5908-2-13

22. Strating M, Nieboer A. Norms for creativity and implementation in health care teams: testing the group innovation inventory. Qual Assur Health Care. 2010;22(4):275-82. https://doi.org/10.1093/intqhc/mzq027

23. Edmonson A. Psychological safety and learning behavior in work teams. Adm Sci Q. 1999; 44(2):350-83. https://doi.org/10.2307/2666999

24. Zapata MA, Saturno PJ. Encuesta para la evaluación de elementos y factores del contexto asociados a la mejora de la calidad y acreditación en hospitales [Internet]. Figshare, 2018. https://doi.org/10.6084/m9.figshare.6220373.v1

25. Rickards G, Magee C, Artino A. You can’t fix by analysis what you’ve spoiled by design: developing survey instruments and collecting validity evidence. J Grad Med Educ. 2012;4(4):407-10. https://doi.org/10.4300%2FJGME-D-12-00239.1

26. Likert R. A Technique for the Measurement of Attitudes. Nueva York: Archives of Psichology, 1932.

27. Pérez-Gil JA, Chacón S, Moreno R. Validez de constructo: el uso de análisis factorial exploratorio-confirmatorio para obtener evidencias de validez científica. Pshicotema. 2000;12(2):442-46.

28. Lloret S, Ferreres A, Hernández A, Tomás I. El análisis factorial exploratorio de los ítems: una guía práctica, revisada y actualizada. An Psicol. 2014;30(3):1151-69. https://doi.org/10.6018/analesps.30.3.199361

29. Hartley J. Some thoughts on Likert-type scales. Int J Clin Health Psychol. 2013;13:83-6. https://doi.org/10.1016/S1697-2600(14)70040-7

30. Lozano LM, García-Cueto E, Muñiz J. Effect of the Number of Response Categories on the Reliability and Validity of Rating Scales. Methodology. 2008;4(2):73-9. https://doi.org/10.1027/1614-2241.4.2.73

31. Hernández A, Espejo B, González V, Gómez J. Escala de respuesta tipo Likert: ¿Es irrelevante la alternativa “indiferente”?. Metodología de Encuestas. 2001;3(2):135-50. [citado septiembre 2016]. Disponible en: http://casus.usal.es/pkp/index.php/MdE/article/viewFile/901/842

Enlaces refback





Salud Pública de México es una publicación periódica electrónica, bimestral, publicada por el Instituto Nacional de Salud Pública (con domicilio en Avenida Universidad núm. 655, col. Santa María Ahuacatitlán, Cuernavaca, Morelos, C.P. 62100, teléfono 329-3000, página web, www.insp.mx), con ISSN: 1606-7916 y Reserva de Derechos al Uso Exclusivo con número: 04-2012-071614550600-203, ambos otorgados por el Instituto Nacional del Derecho de Autor. Editor responsable: Carlos Oropeza Abúndez. Responsable de la versión electrónica: Subdirección de Comunicación Científica y Publicaciones, Avenida Universidad núm. 655, planta baja, col. Santa María Ahuacatitlán, Cuernavaca, Morelos, C.P. 62100, teléfono 329 3000. Fecha de última modificación: 7 de junio de 2018. D.R. © por el sitio: Instituto Nacional de Salud Pública.

Gestionando el conocimiento