Teaching Plan Information

Presentation

Fairness, Accountability, Transparency, and Ethics in data processing (FATE) is a new optional subject offered to undergraduate students at the DTIC/UPF. It is an interdisciplinary subject offered by professors from three disciplines: computing, philosophy, and law.

The course reflects upon three main issues: personal data processing, data-driven decision support, and automated decision making. About half of the sessions cover computing technologies for, e.g., anonymizing data, or detecting and mitigating algorithmic bias. The other half of the sessions study different conceptualizations of power around data processing pipelines, analyze bias and discrimination in computer systems from a moral philosophy perspective, and overview the relevant legal frameworks for data processing.

The course includes 12 theory sessions for delivering and discussing the main concepts and methods, 6 seminar sessions for case studies, and 6 practice sessions for programming and data analysis. The evaluation will be done on the basis of assignments and tests.

The scope of the course are issues of  fairness, accountability, transparency in data processing from an ethical, legal, and technological perspective.

1. Personal data processing: privacy, confidentiality, surveillance, recourse, data collection and power differentials

2. Data-driven decision support: biases and transparency in data processing, data-rich communication, and data visualization

Automated decision making: conceptualizations of power and discrimination in scenarios with different degrees of automation

Associated skills

Basic, transversal, and specific competences: Basic competence CB2. That the students can apply their knowledge to their work or vocation of a professional form and possess the competences which are usually proved by means of the elaboration and defense of arguments and solving of problems within their study area. Transversal competence CT3.  Applying with flexibility and creativity the acquired knowledge and adapting it to new contexts and situations. Specific competence: CE6: Mastering the concepts of company, constitutional and legal framework
of the company, company organization and management.

Learning outcomes

RA.CE6.3. Elaborating projects which have as a goal, according to the acquired knowledge, the conception and developing or exploitation of systems in its field.

In addition:

• With respect to personal data processing:

  • Understand issues of privacy, power, agency around personal data processing, and be able to reason in an ethically-informed way about these issues

  • Know the legal framework for personal data processing in Europe

  • Know technical tools for anonymization and pseudonymisation to work within this framework, as well as the limitations of these tools

• With respect to data-driven decision support and automated decision making::

  • Understand issues of power, agency, biases, and discrimination around data-driven decision support

  • Know the legal framework for automated decision making and decision support in Europe

  • Know methods to evaluate an automatic classifier or predictive method for potentially discriminatory biases

  • Know methods for algorithmic transparency in automatic classification

  • Know methods for fairness in rankings

  • Know methods to mitigate potential discriminatory biases in an algorithmic system

Sustainable Development Goals

• SDG5 - Gender equality
• SDG10 - Reduced inequalities

Prerequisites

Students should have passed the following courses:

• Machine learning 

Contents

T01. The risks of data processing

We introduce the main problems we will be dealing with during the course, and present different conceptualizations of these issues.

T02. Ethical frameworks

We study ethical frameworks for data processing

T03. Data protection regulation

We describe the regulation of data protection in Europe, focusing on data protection issues.

T04. Statistical Disclosure Control

We present technologies for protecting privacy on data, with an emphasis on k-anonymity.

T05. Addressing biases in data processing

We introduce data feminism and a framework to understand biases in social data processing.

T06. Regulation of automated profiling and decision making

We describe the regulation of data protection in Europe, focusing on automated profiling and algorithmic decision making.

T07. Algorithmic Discrimination

We introduce key conceptualizations around discrimination within a computer system.

T08. Measuring algorithmic bias in automatic classification

We introduce metrics for algorithmic fairness in automated systems used for classification and prediction.

T09. Mitigating biases in automatic classification

We introduce metrics for algorithmic fairness in automated systems used for classification and prediction.

T10. Fairness in algorithmic processing

We describe ethical concerns of fairness, and how can they be translated into requirements for computer systems.

T11. Fairness and transparency in ranking and recommendation

We study issues of bias and transparency in the context of information systems to rank people or items.

T12. Guest lecturer: data protection

We will host a guest lecture on data protection.

Teaching Methods

The course is structured around theory classes in which the topics of the course are introduced.

In practice sessions, students can work in pairs in a programming assignment.

In seminar sessions, students work in small groups analyzing a case or a problem posed by the professor. 

Half of the practice and half of the seminar sessions include an evaluation, based on a short report (1-2 pages) delivered by each pair/group.

Evaluation

Continuous evaluation will be based in the following elements:

• P = Average of practice session grades = 25%
• S = Average of seminar session grades = 25%
• M = Mid-term exam = 20%
• E = Final exam = 30%

To pass the course under continuous evaluation:

• P must be greater than or equal to 5.0
• S must be greater than or equal to 5.0
• 0.4M + 0.6E should be greater than or equal to 5.0.
• 0.25P + 0.25S + 0.20M + 0.30E should be greater than or equal to 5.0

If a student fails to pass, a resit exam is necessary. The resit exam replaces the regular exam grade (E in the list above).

Bibliography and information resources

Main books:

• O'neil, C. (2016). Weapons of math destruction: How big data increases inequality and threatens democracy. Broadway Books.

• Barocas, S., Hardt, M., Narayanan, A. (TBA). Fairness and machine learning: limitations and opportunities. Work in Progress.

Recommended books:

• Perez, C. C. (2019). Invisible women: Exposing data bias in a world designed for men. Random House.

• D'Ignazio, C., & Klein, L. F. (2020). Data feminism. MIT Press.

• Eubanks, V. (2018). Automating inequality: How high-tech tools profile, police, and punish the poor. St. Martin's Press.

• Noble, S. U. (2018). Algorithms of oppression: How search engines reinforce racism. nyu Press.

• Moreau, S. (2020). Faces of Inequality: A Theory of Wrongful Discrimination. Oxford University Press, USA.

Información del Plan Docente

Presentación

Equidad, Responsabilidad, Transparencia y Ética en Informática (FATE) es una nueva asignatura opcional para los estudiantes de primer ciclo del DTIC de la UPF. Es una asignatura interdisciplinaria que ofrecen profesores de tres disciplinas: informática, filosofía y derecho.

El curso reflexiona sobre tres cuestiones principales: procesamiento de datos personales, apoyo a las decisiones basadas en datos y toma de decisiones automatizadas. Aproximadamente la mitad de las sesiones cubren tecnologías informáticas para, por ejemplo, anonimizar datos o detectar y mitigar el sesgo algorítmico. La otra mitad de las sesiones estudia diferentes conceptualizaciones del poder sobre las canalizaciones de procesamiento de datos, analiza el sesgo y la discriminación en sistemas informáticos desde una perspectiva de filosofía moral y analiza los marcos legales relevantes para el procesamiento de datos.

El curso incluye 12 sesiones teóricas para exponer y discutir los principales conceptos y métodos; 6 sesiones de seminario para estudios de caso y 6 sesiones de prácticas para desarrollar el programa y el análisis de datos. La evaluación se realizará a partir de trabajos y pruebas.

El curso versará sobre cuestiones de equidad, responsabilidad, transparencia en el procesamiento de datos desde una perspectiva ética, legal y tecnológica.

1. Tratamiento de datos personales: privacidad, confidencialidad, vigilancia, recurso, recopilación de datos y diferenciales de poder.

2. Apoyo a la toma de decisiones basado en datos: sesgos y transparencia en el proceso de datos, la comunicación rica en datos y la visualización de datos.

Toma automatizada de decisiones: conceptualizaciones de poder y discriminación en escenarios con diferentes grados de automatización.

Competencias asociadas

Competencias básicas, transversales y específicas:

Competencia básica CB2. Que los estudiantes puedan aplicar los conocimientos adquiridos a su trabajo o vocación de forma profesional y poseer las competencias que suelen demostrarse por medio de la elaboración y defensa de argumentos y la resolución de problemas dentro de su área de estudio.

Competencia transversal CT3. Aplicar con flexibilidad y creatividad los conocimientos adquiridos y adaptarlos a nuevos contextos y situaciones.

Competencia específica: CE6. Dominar los conceptos de empresa, marco constitucional y legal de la empresa, organización y dirección de la empresa.

Resultados del aprendizaje

RA.CE6.3. Elaborar proyectos que tengan como objetivo, según el conocimiento adquirido, la concepción y desarrollo o explotación de sistemas en su ámbito.

Además:

• En cuanto al tratamiento de datos personales:

○ Comprender cuestiones de privacidad, poder, agencias relacionadas con el procesamiento de datos personales, y ser capaz de razonar de manera ética sobre estos problemas.

○ Conocer el marco legal para el procesamiento de datos personales en Europa.

○ Conocer herramientas técnicas para la anonimización y pseudoanonimización para trabajar dentro de este marco, así como las limitaciones de estas herramientas.

• Respecto al apoyo de decisiones basadas en datos y la toma de decisiones automatizadas:

○ Comprender cuestiones de poder, agencias, prejuicios y discriminación en torno al apoyo a las decisiones basadas en datos.

○ Conocer el marco legal para la toma de decisiones automatizadas y el apoyo a las decisiones en Europa.

○ Conocer métodos para evaluar un clasificador automático o un método de predicción de sesgos potencialmente discriminatorios.

○ Conocer métodos de transparencia algorítmica en la clasificación automática.

○ Conocer métodos de equidad en los rankings.

○ Conocer métodos para mitigar posibles sesgos discriminatorios en un sistema algorítmico.

Objetivos de Desarrollo Sostenible

• ODS5 - Igualdad de género
• ODS10 - Reducción de las desigualdades

Prerrequisitos

Los estudiantes deberían haber aprobado:

● Aprendizaje automático

Contenidos

T01. Los riesgos del procesamiento de datos

Presentamos los principales problemas que trataremos durante el curso así como las diferentes conceptualizaciones de estos problemas.

T02. Marcos éticos

Estudiamos marcos éticos relevantes en el procesamiento de datos

T03. Reglamento de protección de datos

Describimos la regulación de la protección de datos en Europa, centrándonos en cuestiones de protección de datos.

T04. Control de divulgación estadística

Presentamos tecnologías para proteger la privacidad de los datos, con énfasis en el
anonimato-k.

T05. Resolución de sesgos en el procesamiento de datos

Introducimos el feminismo de datos y un marco para entender los sesgos en el procesamiento de datos sociales.

T06. Regulación de perfiles automatizados y toma de decisiones

Describimos la regulación de la protección de datos en Europa, centrándonos en el perfil automatizado y la toma de decisiones algorítmicas.

T07. Discriminación algorítmica

Introducimos conceptualizaciones clave en torno a la discriminación dentro de un sistema informático.

T08. Medida del sesgo algorítmico en la clasificación automática

Introducimos métricas de equidad algorítmica en sistemas automatizados que se utilizan para la clasificación y predicción.

T09. Sesgos mitigadores en la clasificación automática

Introducimos métricas de equidad algorítmica en sistemas automatizados que se utilizan para la clasificación y la predicción.

T10. Equidad en el procesamiento algorítmico

Describimos las cuestiones éticas de equidad y cómo se pueden traducir en requisitos para los sistemas informáticos.

T11. Equidad y transparencia en el ranking y la recomendación

Estudiamos cuestiones de sesgo y transparencia en el contexto de los sistemas de información para clasificar personas o artículos.

T12. Profesor invitado: protección de datos

Organizaremos una conferencia sobre protección de datos.

Metodología docente

El curso se estructura en torno a clases teóricas en las que se introducen los temas del curso.

En las sesiones prácticas, los estudiantes pueden trabajar por parejas en un trabajo de programación.

En las sesiones de seminario, los estudiantes trabajan en grupos reducidos analizando un caso o un problema planteado por el profesor.

La mitad de la práctica y la mitad de las sesiones del seminario incluyen una evaluación, basada en un pequeño informe (1-2 páginas) entregado por cada pareja/grupo.

Evaluación

La evaluación continua se basará en los siguientes elementos:

● P = Promedio de notas de la sesión de prácticas = 25%

● S = Promedio de notas de la sesión del seminario = 25%

● M = Examen intermedio = 20%

● E = Examen final = 30%

Para aprobar la asignatura en evaluación continua:

● P debe ser superior o igual a 5,0

● S debe ser superior o igual a 5,0

● 0,4 M + 0,6 E debe ser superior o igual a 5,0.

● 0,25 P + 0,25 S + 0,20 M + 0,30 E debe ser superior o igual a 5,0

Si un estudiante no aprueba, hay un examen de recuperación. El examen de recuperación sustituye la nota del examen normal (E en la lista anterior).

Bibliografía y recursos de información

Libros principales:

• O'Neil, C. (2016). Weapons of math destruction: How big data increases inequality and threatens democracy. Broadway Books.

• Barocas, S., Hardt, M., Narayanan, A. (TBA). Fairness and machine learning: limitations and opportunities. Work in Progress.

Libros recomendados:

• Perez, C. C. (2019). Invisible women: Exposing data bias in a world designed for men. Random House.

• D'Ignazio, C., & Klein, L. F. (2020). Data feminism. MIT Press.

• Eubanks, V. (2018). Automating inequality: How high-tech tools profile, police, and punish the poor. St. Martin's Press.

• Noble, S. U. (2018). Algorithms of oppression: How search engines reinforce racism. nyu Press.

• Moreau, S. (2020). Faces of Inequality: A Theory of Wrongful Discrimination. Oxford University Press, USA.