Algorithmic discrimination in automated recruitment and hiring processes

Authors

Abstract

In this article, we describe and analyse the different forms of discrimination that derive from the design and implementation of automated recruitment and selection processes. In addition, we analyse and assess the substantive, evidentiary and procedural issues that arise when trying to regulate the phenomenon of algorithmic labour discrimination in the pre-contractual stage, with special focus on the challenges that arise for Chilean law.

Keywords:

algorithmic discrimination, anti-discrimination law, automated hiring processes

Author Biographies

Alberto Coddou Mc Manus, Universidad Austral de Chile

Alberto Coddou Mc Manus es abogado. Licenciado en Ciencias Jurídicas y Sociales por la Universidad de Chile. Máster en Derecho por la Universidad de Nueva York y doctor en Derecho por University College de Londres. Profesor auxiliar del Instituto de Derecho Público, de la Universidad Austral de Chile.

Roberto Padilla Parga, Universidad de Talca

Roberto Padilla Parga es abogado, licenciado en Ciencias Jurídicas y Sociales de la Universidad de Talca. Magíster en Derecho del Trabajo y de la Seguridad Social de la Universidad de Talca, Chile, y de la Universitat de Valencia, España. Candidato a doctor en el programa de Doctorado en Derecho de la Universidad de Talca.

References

Adams-Prassl, Jeremias, Halefom Abraha, Ashley Kelly-Lyth, Michael ‘Six’ Silberman y Sang Rakshita. (2023). «Regulating algorithmic management: A blueprint». European Labour Law Journal, 14 (2): 124-151. DOI: 10.1177/20319525231167299.

Ajunwa, Ifeoma (2021). «An auditing imperative for automated hiring systems». Harvard Journal of Law and Technology. 34 (2): 622-699. DOI: 10.2139/ssrn.3437631.

—. The quantified worker: Law and technology in the modern workplace. Nueva York: Cambridge University Press. DOI: 10.1017/9781316888681.

Ali, Muhammad, Piotr Sapiezynski, Miranda Bogen, Aleksandra Korolova, Alan Mislove y Aaron Rieke (2019). «Discrimination through optimization: How Facebook's ad delivery can lead to biased outcomes». Proceedings of the ACM on Human-Computer Interaction, 3: 1-30. DOI: 10.48550/arXiv.1904.02095.

Azuaje Pirela, Michelle y Daniel Finol (2023). «Aproximaciones a la noción de inteligencia artificial y otros conceptos vinculados con ella». En Michelle Azuaje Pirela (editora), Introducción a la ética y el derecho de la inteligencia artificial (17-34). Madrid: La Ley.

Barocas, Solon y Andrew Selbst (2016). «Big data’s disparate impact». California Law Review. 104 (3): 671-732. DOI: 10.15779/Z38BG31.

Binns, Reuben, Jeremias Adams-Prassl y Aislinn Kelly-Lyth (2023). «Legal taxonomies of machine bias: Revisiting direct discrimination», FAccT’23: Conference on Fairness, Accountability, and Transparency. DOI: 10.1145/3593013.3594121.

Black, Emily, Manish Raghavan y Solon Barocas (2022). «Model multiplicity: opportunities, concerns, and solutions». FAccT’22: Conference on Fairness, Accountability, and Transparency. DOI: 10.1145/3531146.3533149.

Castro, José Francisco (2020). La protección de la intimidad del trabajador. Santiago: Der.

—. (2021) «El derecho a la privacidad del trabajador en la fase de acceso al empleo». En Juan Pablo Severin (editor), Los derechos fundamentales de la persona del trabajador. Vida privada, honra, inviolabilidad de las comunicaciones y protección de datos (169-184). Valencia: Tirant lo Blanch.

Center for Democracy and Technology (2020). Algorithm-driven hiring tools: Innovative recruitment or expedited disability discrimination? Disponible en https://bit.ly/4a4BUer.

—. (2022). Civil Rights Standard for 21st Century Employment Selection Procedures. Disponible en https://bit.ly/3QwFjfj.

Coddou, Alberto (2022). «Discriminación algorítmica en las plataformas digitales de trabajo» En Rodrigo Palomo (editor), El trabajo a través de plataformas digitales. Problemas y desafíos en Chile. Valencia: Tirant lo Blanch.

Cowgill, Bo y Catherine Tucker (2017). «Algorithmic bias: A counterfactual perspective». Working Paper: NSF Trustworthy Algorithms, diciembre, 2017. Disponible en https://bit.ly/3QwGdsd.

Creel, Kathleen y Deborah Hellman (2022). «The algorithmic leviathan: Arbitrariness, fairness, and opportunity in algorithmic decision-making systems», Canadian Journal of Philosophy, 52 (1): 1-32. Disponible en: https://bit.ly/3y8bZpa.

European Coalition for Corporate Justice (2022). Corporate due diligence laws and legislative proposals in Europe. Disponible en https://bit.ly/3QuDyiw.

EEOC, Equal Employment Opportunities Commission (2022). La ley de estadounidenses con discapacidades y el uso de software, algoritmos e inteligencia artificial para evaluar a los solicitantes de empleo y empleados. Disponible en https://bit.ly/4b557HI.

Facebook (2020). Facebook’s civil rights audit: Final report. Disponible en https://bit.ly/4b1QTqP.

Fredman, Sandra (2023). Discrimination law. Londres: Oxford University Press.

Gamonal, Sergio y Caterina Guidi (2020). Tutela de derechos fundamentales en el contexto del derecho del trabajo. Santiago: Academia Judicial de Chile.

Genoma Work (2020). Cómo las evaluaciones basadas en juegos evitan que falles en la contratación. Disponible en https://bit.ly/3UtC5du.

Ginès i Fabrellas, Ana (2021) «Sesgos discriminatorios en la automatización de decisiones en el ámbito laboral: evidencias de la práctica». En Pilar Rivas (editora), Discriminación algorítmica en el ámbito laboral: perspectiva de género e intervención (295-331). Madrid: Thomson Reuters-Aranzadi.

Guo, Anhong, Ece Kamar, Jennifer Wortman Vaughan, Hanna Wallach y Meredith Ringel Morris (2019). «Toward Fairness in AI for People with Disabilities: A Research Roadmap». CM SIGACCESS Accessibility and Computing, 125: 1. DOI: 10.1145/3386296.3386298.

Hidalgo, Cesar, Diana Orghian, Jordi Albo-Canals, Filipa de Almeida y Natalia Martin (2021). How Humans Judge Machines. Massachusetts: Massachusetts Institute of Technology.

Kelly-Lyth, Aislinn (2021). «Challenging biased hiring algorithms». Oxford Journal of Legal Studies, 41 (4): 899-928. DOI: 10.1093/ojls/gqab006.

Kim, Pauline (2017a). Data-driven discrimination at work. William & Mary Law Review, 58 (3): 857-936. Disponible en https://bit.ly/3WJNitt.

—. (2017b). «Auditing algorithms for discrimination». University of Pensilvania Law Review Online, 166: 189-203. Disponible en https://bit.ly/4b7j6fZ.

—. (2020). «Manipulating opportunity». Virginia Law Review, 106 (4): 867-935. Disponible en https://bit.ly/4b0w6Eh.

—. (2022). «Race-aware algorithms: Fairness, nondiscrimination and affirmative action». California Law Review, 110: 1539-1596. Disponible en https://bit.ly/3UoXHYt.

Kim, Pauline y Matthew T. Bodie (2021). «Artificial intelligence and the challenges of workplace discrimination and privacy». Labor and Employment, 35 (2): 289-315. Disponible en https://bit.ly/4ab0ASt.

Köchling, Alina y Marius Claus Wehner (2020). «Discriminated by an algorithm: a systematic review of discrimination and fairness by algorithmic decision-making in the context of HR recruitment and HR development». Business Research, 13 (3): 795-848. DOI: 10.1007/s40685-020-00134-w.

Kuncel, Nathan R, Deniz S. Ones, y David M. Klieger (2014). «En la contratación, los algoritmos superan el instinto». Harvard Business Review, 92 (5): 32.

Kupfer, Cordula, Rita Prassl, Jurgen Fleiß, Christine Malin, Stefan Thalmann y Bettina Kubicek (2023). «Check the box! How to deal with automation bias in AI-based personnel selection». Frontiers Psychology, 4: 1-14. DOI: 10.3389/fpsyg.2023.1118723.

Lambrecht, Anja y Catherine Tucker (2019). «Algorithmic bias? An empirical study of apparent gender-based discrimination in the display of STEM career ads». Management Science, 65 (7): 2966-2981. DOI: 10.1287/mnsc.2018.3093.

Learning Collider (2022). Hidden bias in hiring: Examining applicant screening technologies. Disponible en https://bit.ly/44qmRuw.

Lobel, Orly (2022). The equality machine: Harnessing digital technology for a brighter, more inclusive future. New York: PublicAffairs.

Lurie, Guy (2020). Proportionality and the Right to Equality. German Law Journal, 21 (2): 174-196. DOI:10.1017/glj.2020.8.

Marx, Charles, Flavio du Pin Calmon y Berk Ustun (2020). «Predictive multiplicity in classification. Procedings of Machine Learning Research, 119: 6765-6774. DOI: 10.48550/arXiv.1909.06677.

Moreau, Sophia (2020). The faces of inequality. Londres: Oxford University Press.

Neven, Jean-François, Julie Ringelheim y Véronique van der Plancke (2022). «Les tests de situation et la méthode du client-mystère comme outils de détection et de preuve des discriminations». CRIDHO Working Paper 2022, 5: 1-31. Disponible en https://bit.ly/4bmAz3F.

OCDE (2022). Dark Commercial Patterns. OECD Digital Economy Papers 336. París: OECD Publishing. DOI: 10.1787/44f5e846-en.

Parviainen, Henni (2022). «Can algorithmic recruitment systems lawfully utilize automated decision-making in the EU?». European Labour Law Journal, 13 (2): 225-248. DOI: 10.1177/2031952522109381.

Ramos-Villagrasa, Pedro, Elena Fernández del Río y Ángel Castro (2022). «Game-related assessments for personnel selection: A systematic review». Frontiers Psychology. 13: 1-14. DOI: 10.3389/fpsyg.2022.952002.

Rieke, Aaron y Miranda Bogen (2018). Help wanted: An examination of hiring algorithms, equity, and bias. Disponible en https://bit.ly/3wmR7de.

Rojas Miño, Irene (2015). Derecho del trabajo. Derecho individual del trabajo. Santiago: Legal Publishing.

Serrano Falcón, Carolina (2021). «Proceso de contratación, política de empleo y uso de algoritmos». En Pilar Rivas (editora), Discriminación algorítmica en el ámbito laboral: perspectiva de género e intervención (179-209). Madrid: Thomson Reuters-Aranzadi.

Ugarte, José Luis (2007). «La tutela de derechos fundamentales y el derecho del trabajo. De erizo a zorro». Revista de Derecho (Universidad Austral de Chile), 20 (2): 59-61 DOI: 10.4067/S0718-09502007000200003.

U.S. Equal Employment Opportunity Commission (1979). «Questions and answers to clarify and provide a common interpretation of the uniform guidelines on employee selection procedures». Federal Register, 44 (43). Disponible en https://bit.ly/4bnTyes.

Viljoen, Salomé (2021). «A relational theory of data governance». Yale Law Journal, 131 (2): 573-654. Disponible en https://bit.ly/4dmRTYj.

Viollier, Pablo y Emma Fischer (2023). «La intervención humana como resguardo ante la toma automatizada de decisiones: implicancias éticas y jurídicas». En Michelle Azuaje Pirela (editora), Introducción a la ética y el derecho de la inteligencia artificial. Santiago: La Ley.

Viollier, Pablo y Patricio Velasco (2021). «El uso de toma de decisiones automatizadas para la selección de personal». En Juan Pablo Severín (editor), Derechos fundamentales de la persona del trabajador (347-361). Valencia: Tirant lo Blanch.

Wachter, Sandra, Brent Mittelstadt y Chris Russell (2021). «Why fairness cannot be automated: Bridging the gap between EU non-discrimination law and AI». Computer Law & Security Review, 41: 1-72. DOI: 10.2139/ssrn.3547922.

Wachter, Sandra (2022). «The theory of artificial immutability: Protecting algorithmic groups under anti-discrimination law». Tulane Law Review, 97 (2): 1-50. Disponible en https://bit.ly/3JKkdWU.

Zuiderveen, Frederik (2020). «Strengthening legal protection against discrimination by algorithms and artificial intelligence». The International Journal of Human Rights, 24 (10): 1572-1593. DOI: 10.1080/13642987.2020.1743976.