Equidad algorítmica y decisiones clínicas basadas en sistemas de soporte basados en inteligencia artificial
DOI:
https://doi.org/10.25057/2500672X.1691Palabras clave:
: Equidad algorítmica, Inclusión, Discriminación algorítmica, Decisión clínica, Igualdad, No discriminaciónResumen
En este trabajo se desarrollan los conceptos de equidad algorítmica e inclusión de la diversidad como propuesta de mecanismos de prevención de la discriminación en la toma de decisiones clínicas cuando interviene un sistema de soporte basado en inteligencia artificial. A partir de una revisión de la literatura especializada, aplicando los métodos dogmático y analítico, se hace un análisis de los sesgos que pueden generarse en este proceso. En segundo lugar, se profundiza respecto a la manera en que los mismos quebrantan la confianza del paciente y la fiabilidad del sistema. Finalmente, se propone la incorporación de la equidad algorítmica y de la inclusión de la diversidad como elementos transversales en la construcción e implementación de decisiones automatizadas en salud.
Descargas
Referencias bibliográficas
Agarwal, R., Bjarnadottir, M., Rhue, L., Dugas, M., Crowley, K., Clark, J., y Gao, G. (2023). Addressing algorithmic bias and the perpetuation of health inequities: An AI bias aware framework. Health Policy and Technology, 12(1), 100702. https://doi.org/10.1016/j.hlpt.2022.100702
Ahuja, A. S. (2019). The impact of artificial intelligence in medicine on the future role of the physician. PeerJ, 7, e7702. https://doi.org/10.7717/peerj.7702
Alowais, S. A., Alghamdi, S. S., Alsuhebany, N., Alqahtani, T., Alshaya, A. I., Almohareb, S. N., Aldairem, A., Alrashed, M., Bin Saleh, K., Badreldin, H. A., Al Yami, M. S., Al Harbi, S., y Albekairy, A. M. (2023). Revolutionizing healthcare: the role of artificial intelligence in clinical practice. BMC Medical Education, 23(1), 689. https://doi.org/10.1186/s12909-023-04698-z
Amnistía Internacional. (25 de octubre de 2021). Xenophobic machines: Discrimination through unregulated use of algorithms in the Dutch childcare benefits scandal. Amnesty International. https://www.amnesty.org/en/documents/eur35/4686/2021/en/
Anderson, M., y Anderson, S. L. (2019). How Should AI Be Developed, Validated, and Implemented in Patient Care? AMA Journal of Ethics, 21(2), E125-130. https://doi.org/10.1001/amajethics.2019.125
Añón Roig, M. J. (2022). Desigualdades algorítmicas. DERECHOS Y LIBERTADES: Revista de Filosofía Del Derecho y Derechos Humanos, 47, 17–49. https://doi.org/10.20318/dyl.2022.6872
Araya, C. (2020). Desafíos legales de la inteligencia artificial en Chile. Revista Chilena de Derecho y Tecnología, 9(2), 257. https://doi.org/10.5354/0719-2584.2020.54489
Barda, N., Yona, G., Rothblum, G. N., Greenland, P., Leibowitz, M., Balicer, R., Bachmat, E., y Dagan, N. (2021). Addressing bias in prediction models by improving subpopulation calibration. Journal of the American Medical Informatics Association, 28(3), 549–558. https://doi.org/10.1093/jamia/ocaa283
Bedecarratz Scholtz, F., y Aravena Flores, M. (2023). Principios y directrices sobre inteligencia artificial. In M. (Coord.) Azuaje Pirela (Ed.), Introducción a la ética y el derecho de la Inteligencia Artificial. Wolters Kluwer España. https://elibro-net.utalca.idm.oclc.org/es/ereader/utalca/229859?page=210.
Boden, M. (2018). Artificial Intelligence. A very short introduction. Oxford University Press.
Braun, M., Hummel, P., Beck, S., y Dabrock, P. (2020). Primer on an ethics of AI-based decision support systems in the clinic. J. Med. Ethics, 47(3), 1-8.
Čartolovni, A., Tomičić, A., y Lazić Mosler, E. (2022). Ethical, legal, and social considerations of AI-based medical decision-support tools: A scoping review. International Journal of Medical Informatics, 161, 104738. https://doi.org/10.1016/j.ijmedinf.2022.104738
Chen, I. Y., Pierson, E., Rose, S., Joshi, S., Ferryman, K., y Ghassemi, M. (2021). Ethical Machine Learning in Healthcare. Annual Review of Biomedical Data Science, 4(1), 123–144. https://doi.org/10.1146/annurev-biodatasci-092820-114757
Cirillo, D., Catuara-Solarz, S., Morey, C., Guney, E., Subirats, L., Mellino, S., Gigante, A., Valencia, A., Rementeria, M. J., Chadha, A. S., y Mavridis, N. (2020). Sex and gender differences and biases in artificial intelligence for biomedicine and healthcare. Npj Digital Medicine, 3(1), 81. https://doi.org/10.1038/s41746-020-0288-5
Coddou Mc Manus, A., y Smart Larraín, S. (2021). La transparencia y la no discriminación en el Estado de bienestar digital. Revista Chilena de Derecho y Tecnología, 10(2), 301. https://doi.org/10.5354/0719-2584.2021.61034
Comisión Europea. (2020). Libro Blanco sobre la inteligencia artificial- un enfoque europeo orientado a la excelencia y la confianza. Parlamento Europeo. https://www.europarl.europa.eu/doceo/document/TA-9-2020-0276_ES.html
Datta Burton, S., Mahfoud, T., Aicardi, C., y Rose, N. (2021). Clinical translation of computational brain models: understanding the salience of trust in clinician–researcher relationships. Interdisciplinary Science Reviews, 46(1–2), 138–157. https://doi.org/10.1080/03080188.2020.1840223
Ferrario, A., Gloeckler, S., y Biller-Andorno, N. (2023). Ethics of the algorithmic prediction of goal of care preferences: from theory to practice. Journal of Medical Ethics, 49(3), 165–174. https://doi.org/10.1136/jme-2022-108371
Fletcher, R. R., Nakeshimana, A., y Olubeko, O. (2021). Addressing Fairness, Bias, and Appropriate Use of Artificial Intelligence and Machine Learning in Global Health. Frontiers in Artificial Intelligence, 3. https://doi.org/10.3389/frai.2020.561802
Fosch-Villaronga, E., Drukarch, H., Khanna, P., Verhoef, T., y Custers, B. (2022). Accounting for diversity in AI for medicine. Computer Law y Security Review, 47, 105735. https://doi.org/10.1016/j.clsr.2022.105735
FundéuRAE. (2022, December 19). Inteligencia artificial es la expresión del 2022 para la FundéuRAE. FundéuRAE. https://www.fundeu.es/recomendacion/inteligencia-artificial-esla-expresion-del-2022-para-la-fundeurae/
Grote, T., y Berens, P. (2020). On the ethics of algorithmic decision-making in healthcare. Journal of Medical Ethics, 46(3), 205–211. https://doi.org/10.1136/medethics-2019-105586
Grote, T., y Keeling, G. (2022). On Algorithmic Fairness in Medical Practice. Cambridge Quarterly of Healthcare Ethics, 31(1), 83–94. https://doi.org/10.1017/S0963180121000839
Hegde, P. R., y Shenoy, M. M. (2021). Artificial Intelligence in Medicine and Health Sciences. Archives of Medicine and Health Sciences, 9(1), 145–150. https://doi.org/10.4103/amhs.amhs_315_20
Holmes, D. (2017). Big Data. A very short introduction. Oxford University Press.
Huang, J., Galal, G., Etemadi, M., y Vaidyanathan, M. (2022). Evaluation and Mitigation of Racial Bias in Clinical Machine Learning Models: Scoping Review. JMIR Medical Informatics, 10(5), e36388. https://doi.org/10.2196/36388
Johnson, S. (2019). AI, Machine Learning, and Ethics in Health Care. Journal of Legal Medicine, 39(4), 427–441. https://doi.org/10.1080/01947648.2019.1690604
Jones, C., Thornton, J., y Wyatt, J. C. (2023). Artificial intelligence and clinical decision support: clinicians’ perspectives on trust, trustworthiness, and liability. Medical Law Review, 31(4), 501–520. https://doi.org/10.1093/medlaw/fwad013
Karimian, G., Petelos, E., y Evers, S. M. A. A. (2022). The ethical issues of the application of artificial intelligence in healthcare: a systematic scoping review. AI and Ethics, 2(4), 539–551. https://doi.org/10.1007/s43681-021-00131-7
Kumar, A., Aelgani, V., Vohra, R., Gupta, S. K., Bhagawati, M., Paul, S., Saba, L., Suri, N., Khanna, N. N., Laird, J. R., Johri, A. M., Kalra, M., Fouda, M. M., Fatemi, M., Naidu, S., y Suri, J. S. (2023). Artificial intelligence bias in medical system designs: a systematic review. Multimedia Tools and Applications, 83(6), 18005–18057. https://doi.org/10.1007/s11042-023-16029-x
Kumar, P., Chauhan, S., y Awasthi, L. K. (2023). Artificial Intelligence in Healthcare: Review, Ethics, Trust Challenges yamp; Future Research Directions. Engineering Applications of Artificial Intelligence, 120, 105894. https://doi.org/10.1016/j.engappai.2023.105894
Lazcoz Moratinos, G., y Castillo Parrilla, J. A. (2020). Valoración algorítmica ante los derechos humanos y el Reglamento General de Protección de Datos: el caso SyRI. Revista Chilena de Derecho y Tecnología, 9(1), 207. https://doi.org/10.5354/0719-2584.2020.56843
Ledford, H. (2019). Millions of black people affected by racial bias in health-care algorithms. Nature, 574(7780), 608–609. https://doi.org/10.1038/d41586-019-03228-6
Lillywhite, A., y Wolbring, G. (2021). Coverage of ethics within the artificial intelligence and machine learning academic literature: The case of disabled people. Assistive Technology, 33(3), 129–135. https://doi.org/10.1080/10400435.2019.1593259
Liyanage, H., Liaw, S.-T., Jonnagaddala, J., Schreiber, R., Kuziemsky, C., Terry, A. L., y de Lusignan, S. (2019). Artificial Intelligence in Primary Health Care: Perceptions, Issues, and Challenges. Yearbook of Medical Informatics, 28(01), 041–046. https://doi.org/10.1055/s-0039-1677901
Madrid, R. (2023). Las máquinas y la agencia moral. In M. (Coord.) Azuaje Pirela (Ed.), Introducción a la ética y el derecho de la Inteligencia Artificial. Wolters Kluwer España.
Martín-Casals, M. (2022a). An approach to some EU initiatives on the regulation of liability for damage caused by AI-Systems. Ius et Praxis, 28(2), 3–24. https://doi.org/10.4067/S0718-00122022000200003
Martín-Casals, M. (2022b). Desarrollo tecnológico y responsabilidad extracontractual. A propósito de los sistemas de inteligencia artificial. In J. Pérez y F. SanJuan (Eds.), La Cultura Jurídica en la era digital, Cizur Menor, Aranzadi (pp. 101-138.).
Mijwil, M., y Aggarwal, K. (2022). A diagnostic testing for people with appendicitis using machine learning techniques. Multimedia Tools and Applications, 81(5), 7011–7023. https://doi.org/10.1007/s11042-022-11939-8
Molnár-Gábor, F., y Giesecke, J. (2022). Medical AI Key Elements at the International Level. In P. H. Silja Voeneky, M. O. Oliver, y W. Burgard (Eds.), The Cambridge Handbook of Responsible Artificial Intelligence. Cambridge University Press.
Naik, N., Hameed, B. M. Z., Shetty, D. K., Swain, D., Shah, M., Paul, R., Aggarwal, K., Ibrahim, S., Patil, V., Smriti, K., Shetty, S., Rai, B. P., Chlosta, P., y Somani, B. K. (2022). Legal and Ethical Consideration in Artificial Intelligence in Healthcare: Who Takes Responsibility? Frontiers in Surgery, 9. https://doi.org/10.3389/fsurg.2022.862322
Navas, S. (2021). Salud Electrónica e Inteligencia Artificial. In S. (Dir.) Navas (Ed.), Salud e Inteligencia Artificial desde el Derecho Privado. Con especial atención a la pandemia SARS COv2 COVID-19 (pp. 1–48). Comares.
Navas, S. (2022). Daños ocasionados por sistemas de inteligencia artificial: Especial atención a su futura regulación. Comares.
Parlamento Europeo. (2020). Régimen de Responsabilidad Civil en materia de inteligencia artificial, Resolución del Parlamento Europeo, de 20 de octubre de 2020, con recomendaciones destinadas a la Comisión sobre un régimen de responsabilidad civil en materia de inteligencia artificial (2020/2014(INL). Parlamento Europeo. https://www.europarl.europa.eu/doceo/document/TA-9-2020-0276_ES.html
Perin, A. (2019). Estandarización y automatización en medicina: El deber de cuidado del profesional entre la legítima confianza y la debida prudencia. Revista Chilena de Derecho y Tecnología, 8(1), 3. https://doi.org/10.5354/0719-2584.2019.52560
Pethig, F., y Kroenung, J. (2023). Biased Humans, (Un)Biased Algorithms? Journal of Business Ethics, 183(3), 637–652. https://doi.org/10.1007/s10551-022-05071-8
Pfohl, S. R., Foryciarz, A., y Shah, N. H. (2021). An empirical characterization of fair machine learning for clinical risk prediction. Journal of Biomedical Informatics, 113, 103621. https://doi.org/10.1016/j.jbi.2020.103621
Prictor, M. (2023). Where does responsibility lie? Analysing legal and regulatory responses to flawed clinical decision support systems when patients suffer harm. Medical Law Review, 31(1), 1–24. https://doi.org/10.1093/medlaw/fwac022
Ramón Fernández, F. (2021). Inteligencia artificial en la relación médico-paciente: Algunas cuestiones y propuestas de mejora. Revista Chilena de Derecho y Tecnología, 10(1), 329. https://doi.org/10.5354/0719-2584.2021.60931
Silcox, C. (2020). La inteligencia artificial en el sector salud: Promesas y desafíos. Inter-American Development Bank. https://doi.org/10.18235/0002845
Smith, H., y Fotheringham, K. (2020). Artificial intelligence in clinical decision-making: Rethinking liability. Medical Law International, 20(2), 131–154. https://doi.org/10.1177/0968533220945766
Steerling, E., Siira, E., Nilsen, P., Svedberg, P., y Nygren, J. (2023). Implementing AI in healthcare—the relevance of trust: a scoping review. Frontiers in Health Services, 3. https://doi.org/10.3389/frhs.2023.1211150
Sunarti, S., Fadzlul Rahman, F., Naufal, M., Risky, M., Febriyanto, K., y Masnina, R. (2021). Artificial intelligence in healthcare: opportunities and risk for future. Gaceta Sanitaria, 35, S67–S70. https://doi.org/10.1016/j.gaceta.2020.12.019
Van Baalen, S., Boon, M., y Verhoef, P. (2021). From clinical decision support to clinical reasoning support systems. Journal of Evaluation in Clinical Practice, 27(3), 520–528. https://doi.org/10.1111/jep.13541
Verdicchio, M., y Perin, A. (2022). When Doctors and AI Interact: on Human Responsibility for Artificial Risks. Philosophy y Technology, 35(1), 11. https://doi.org/10.1007/s13347-022-00506-6
Viollier, P., y Fischer, E. (2023). La intervención humana como resguardo ante la toma automatizada de decisiones. Implicancias éticas y jurídicas. In M. (Coord. ) Azuaje Pirela (Ed.), Introducción a la ética y el derecho de la Inteligencia Artificial. Wolters Kluwer España.
Walker, N. (2023). El problema de sesgo algorítmico y, en particular, el sesgo de género. In C. Droguett y N. Walker (Eds.), Derecho Digital y Privacidad en América y Europa (pp. 148-161.). Tirant Lo Blanch.
Xu, Q., Xie, W., Liao, B., Hu, C., Qin, L., Yang, Z., Xiong, H., Lyu, Y., Zhou, Y., y Luo, A. (2023). Interpretability of Clinical Decision Support Systems Based on Artificial Intelligence from Technological and Medical Perspective: A Systematic Review. Journal of Healthcare Engineering, 2023(1). https://doi.org/10.1155/2023/9919269
Publicado
Cómo citar
Número
Sección
Licencia
Derechos de autor 2025 Nuevo Derecho

Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-CompartirIgual 4.0.
Los autores deben declarar que el artículo es un trabajo original, que no ha sido total ni parcialmente publicado en ningún medio impreso o electrónico, que no ha sido remitido simultáneamente a otra publicación y que no se encuentra actualmente en proceso de evaluación en otra publicación. Por otra parte, dejo(amos) constancia que las afirmaciones vertidas en el mismo son de exclusiva responsabilidad de las/los autoras/es.
Todos los datos y las referencias a materiales ya publicados están debidamente identificados con su respectivo crédito e incluidos en las notas bibliográficas y en las citas que se destacan como tal y, en los casos que así lo requieran, cuento con las debidas autorizaciones de quienes poseen los derechos respectivos; en caso de presentarse cualquier litigio o reclamación relacionada con los derechos de propiedad intelectual, nos hacemos responsables exonerando de responsabilidad a Nuevo Derecho
Si el artículo es aprobado para su publicación, los autores transfieren los derechos de reproducción a la revista Nuevo Derecho para publicarlo, distribuir copias electrónicas e incluirlas en servicios de indización, directorios o bases de datos nacionales e internacionales en Acceso Abierto, bajo la Licencia Creative Commons Atribución-NoComercial-CompartirIgual 4.0 Internacional (CC BY-NC-SA) por la cual los autores conservan sus derechos autorales y les permiten a otras personas copiar y distribuir su obra, siempre y cuando reconozcan la correspondiente autoría y no se utilice la obra con fines comerciales.
Por lo tanto, Nuevo Derecho no retiene los derechos de reproducción o copia (copyright), por lo que los autores podrán disponer de las versiones finales, para difundirlas en repositorios institucionales, blogs personales o cualquier otro medio electrónico o impreso, con la sola condición de hacer mención a la fuente original de publicación, en este caso Nuevo Derecho
| Estadísticas de artículo | |
|---|---|
| Vistas de resúmenes | |
| Vistas de PDF | |
| Descargas de PDF | |
| Vistas de HTML | |
| Otras vistas | |





