Teaching Plan Information

Presentation

Advanced Computer Graphics is a compulsory subject (assignatura) for the engineers in media systems (sistemes audiovisuals). It is optional for the other engineering degrees of the UPF. Most students will have followed the Computer Graphics subject. This second subject in graphics is intended to be quite self-contained, without the Computer Graphics subject being a pre-requisite, although having taken a first course in Computer Graphics will certainly be an advantage. 

(3D) Graphics are heavily used by the media, entertainment, biomedicine, and other industries. In this subject we intend to provide the most basic aspects to provide a solid background for two of these industries, biomedicine and cinema, which are very relevant ones. The games industry is another very relevant industry, but there is already one subject in the UPF engineering degrees (Electronic Games). Advanced Computer Graphics is also complementary of another independent subject (assignatura) in the engineering degrees, Real-Time Graphics.

The optional subject Synthetic Image has not been chosen by enough students in recent years, and we have decided to include the essential part of its content, related to Ray Tracing, in Advanced Computer Graphics. Ray Tracing is related to realistic rendering, is highly applicable to cinema, and it Is gaining a lot of attention in the games industry. Some aspects of computer animation might be discussed as well.

With respect to biomedicine, related to the visualisation of biomedical images such as X-rays and CTs, and the visualisation of the data resulting from physically based simulations, Advanced Computer Graphics discusses Volume Graphics, with special emphasis on Volume Rendering. This part is also very relevant for the growing industry related to data analysis.

The future engineers which intend to have a professional future connected to this type of industries with heavy use of graphics need to develop specific programming skills, where languages such as C++, the OpenGL API, or shaders play an important role, and Advanced Computer Graphics helps to develop these skills.

Associated skills

The competences of this subject are related to a core specific one, especially RA.CE13.1 and RA.CE13.2:

CE13. Creating and distributing multimedia contents according to usability and accessibility criteria of the audiovisual, diffusion and interactive services, including the application of the principles of representation and visualization of the audiovisual and web content and implementing applications based on this knowledge. 

RA.CE13.1 Applying methods of computer graphics to synthesize digitally and manipulate visual objects in two and three dimensions. 

RA.CE13.2 Implementing applications using strategies of visualization of complex information. 

RA.CE13.3 Creating, codifying and spreading multimedia contents according to usability and accessibility criteria. 

The subject will contribute to some basic competences, in particular: 

CB2. That the students can apply their knowledge to their work or vocation of a professional form and possess the competences which are usually proved by means of the elaboration and defense of arguments and solving of problems within their study area; 

CB5. That the students have developed those learning abilities necessary to undertake later studies with a high degree of autonomy. 

and some transversal ones, namely: 

CT4. Communicating in academic and professional contexts orally and writing in English. 

CT5. Generating new ideas and incorporating them in the daily work. 

In the presentation some skills are also mentioned.

Learning outcomes

Knowledge of some basic aspects of Computer Graphics related to Volume Graphics and Ray Tracing. 

Programming of some aspects of Computer Graphics through shaders 

Basic knowledge and practice of OpenGL and C++ 

Sustainable Development Goals

The relationship of the contents of the subject with the economy, the social inclusion and the environmental protection will be occasionally discussed.

Prerequisites

Basic Maths and Programming.

Contents

Theory contents 

1 Ray Tracing 

1.1 Introduction and Motivation

1.2 Basic Concepts Recall and Basic Ray Tracing

1.2.1 Primary and Secondary rays

1.3 Direct Illumination

1.3.1 Introduction to soft shadows

1.4 Global Illumination and the rendering equation 

1.4.1 Aliasing

2. Volume Graphics 

2.1 Motivation 

2.2 Introduction and Theoretical Grounding 

2.2.1 Use Case and Basic Concepts 

2.2.2 Optical Models and the Volume Rendering Equation 

2.2.3 Volume Rendering Integral, its Interpretation and Some Variants 

2.2.4 Computation of the Volume Rendering Integral 

2.2.5 Volume Data and Reconstruction Filters 

2.2.6 Volume-Rendering Pipeline and Basic Approaches 

2.2.7 Transfer Functions 

2.3 Basic GPU Programming 

2.3.1 The Graphics Pipeline 

2.3.2 Vertex Processing 

2.3.3 Fragment Processing 

2.3.4 Frame-Buffer Operations 

2.4 GPU-Based Ray Casting 

2.4.1 Basic Structure of Ray Casting 

2.4.2 Performance Aspects and Acceleration Methods 

2.4.3 Ray Casting in Tetrahedral Grids 

3. Human Animation Aspects  

Seminars and Labs contents 

There will be two main blocks, one related to Volume Graphics and the other one to Ray Tracing.

1) Ray Tracing. Two Assignments which together make up a basic Ray Tracer on a C++ project. 

A1.1  

Basic Ray tracer (ray generation, intersection and Phong illumination) (2 weeks)

A1.2 

 Advanced ray tracer (Implementation of the global illumination algorithm, soft shadows and    specular/diffuse/transparent material) (3 weeks)

2) Volume Graphics. Two Assignments: 

A2.1 

Basic ray-tracing volumetric renderer 

A2.2 

Improved ray-tracing volumetric renderer  

These assignments will require the use of C++ and OpenGL, and the seminars and labs will provide practical introductions to them as well as to orientations towards the assignments. There might be an introductory block, A0, reviewing the basics of Computer Graphics (framework to use, GPU pipeline, shaders). 

It is possible that we add an optional assignment on octrees.

Teaching Methods

The organization of the course is based on the interplay of theory, seminars, and labs. During the theory sessions the concepts of Computer Graphics will be introduced, together with discussing both mathematical (geometrical) grounding, and computing aspects. During seminars and labs, deeper insights of the computing aspects (programming, data structures) are discussed, together with complementary material related to the assignments, and during labs, the focus is on the (computing) outcomes. Students will work in groups. 

As indicated in the beginning, the computing aspects are very relevant for the course intended competences. The course intends to complement the fundamentals in programming graphics with C++, as well as the OpenGL API.  

Evaluation

The evaluation of the theory part will be based on the exercises, reports and presentations requested, to which the online activity can add. This will account for 1/3 of the overall mark while the rest will be based on the mark of seminars and labs. Further information will be provided from the Aula Global.

The seminars and labs mark (which accounts for 2/3 of the global mark) derives from report + code fully commented + interview + test of the different assignments.The assignments A1 and A2 will have weights 50% and 50%, respectively. The online activity can result in extra marks.

The Assignments can be re-submitted.

Bibliography and information resources

The main references are: 

Klaus Engel, Markus Hadwiger, Joe Kniss, Christof Rezk-Salama, Daniel Weiskopf: Real-Time Volume Graphics, A K Peters, 2006. 

Tomas Akenine-Möller, Eric Haines, Naty Hoffman: Real-Time Rendering (4th Edition), A K Peters/CRC Press, 2018. 

Matt Pharr, Wenzel Jakob, Greg Humphreys:  Physically Based Rendering: From Theory to Implementation(3rd Edition), Morgan Kaufmann, 2016.

Dutré, Philip.; Bala, Kavita.; Bekaert, Philippe: Advanced global illumination, A K Peters/CRC Press 2006

Glassner, Andrew S.: An Introduction to ray tracing, Morgan Kaufmann Elsevier, 1989

And an important reference as well are the SIGGRAPH courses. An interesting secondary reference is: 

Bernhard Preim, Charl Botha: Visual Computing for Medicine - Theory, Algorithms, and Applications(2nd Edition), Morgan Kaufmann, 2013.

Información del Plan Docente

Presentación

Gráficos por Ordenador Avanzados es una asignatura obligatoria para los ingenieros en sistemas audiovisuales. Es optativa para el resto de grados de ingeniería de la UPF. La mayoría de los estudiantes habrán seguido la asignatura Gráficos por Ordenador. Esta segunda asignatura de gráficos pretende ser bastante autónoma, sin que la asignatura Gráficos por Ordenador sea un requisito previo, aunque haber cursado un primer curso de Gráficos por Ordenador será sin duda una ventaja.

(3D) Los gráficos son muy utilizados por los medios de comunicación, el entretenimiento, la biomedicina y otras industrias. En esta asignatura pretendemos aportar los aspectos más básicos para dar una sólida base a dos de estas industrias, la biomedicina y el cine, que son muy relevantes. La industria del juego es otra industria muy relevante, pero ya existe una asignatura en los grados de ingeniería de la UPF (Juegos electrónicos). Gráficos por Ordenador Avanzados también es complementaria de otra asignatura independiente en los grados de ingeniería,Gráficos en tiempo real.

La asignatura optativa Imagen sintética no ha sido elegida por un número suficiente de alumnos en los últimos cursos, y hemos decidido incluir la parte esencial de su contenido, relacionada con el Trazado de Rayos, en Gráficos por Ordenador Avanzados. Ray Tracing está relacionado con la representación realista, resulta muy aplicable al cine y está ganando mucha atención a la industria de los juegos. También se pueden hablar de algunos aspectos de la animación por ordenador.

En cuanto a la biomedicina, relacionada con la visualización de imágenes biomédicas como rayos X y TC, y la visualización de los datos resultantes de simulaciones basadas físicamente, Gráficos por Ordenador Avanzados trata de gráficos de volumen, con especial énfasis en la renderización de volumen. Esta parte es también muy relevante para la industria en crecimiento relacionada con el análisis de datos.

Los futuros ingenieros que pretenden tener un futuro profesional conectado a este tipo de industrias con un uso intensivo de gráficos deben desarrollar habilidades de programación específicas, donde idiomas como C++, OpenGL API o los shaders tienen un papel importante y Gráficos por Ordenador Avanzados ayuda a desarrollar estas habilidades.

Competencias asociadas

Las competencias de este tema están relacionadas con un núcleo específico, especialmente RA.CE13.1 y RA.CE13.2: 

CE13.Crear y distribuir contenidos multimedia atendiendo a criterios de usabilidad y accesibilidad de los servicios audiovisuales, de difusión e interactivos, incluyendo la aplicación de los principios de la representación y visualización del contenido audiovisual y en la web e implementando aplicaciones basadas en este conocimiento.  

RA.CE13.1Aplica métodos de gráficos por ordenador para sintetizar digitalmente y manipular objetos visuales en dos y tres dimensiones.

RA.CE13.2Implementa aplicaciones utilizando estrategias de visualización de información compleja. La asignatura contribuirá a algunas competencias básicas, en particular: 

CB2. Que los estudiantes sepan aplicar sus conocimientos a su trabajo o vocación de una forma profesional y posean las competencias que suelen demostrarse por medio de la elaboración y defensa de argumentos y la resolución de problemas dentro de su área de estudio; 

CB5. Que los estudiantes hayan desarrollado aquellas habilidades de aprendizaje necesarias para emprender estudios posteriores con un alto grado de autonomía. 

y algunos transversales, a saber: 

CT4. Comunicarse en contextos académicos y profesionales de forma oral y escrita en inglés. CT5. Generar nuevas ideas e incorporarlas en el trabajo diario. 

En la presentación también se mencionan algunas competencias. 

Resultados del aprendizaje

Conocimiento de algunos aspectos básicos de los gráficos por computadora relacionados con los gráficos de volumen y trazado de rayos. 

Programación de algunos aspectos de Computer Graphics a través de shaders 

Conocimientos básicos y práctica de OpenGL y C ++

Objetivos de Desarrollo Sostenible

Ocasionalmente se discutirá la relación de los contenidos de la asignatura con la economía, la inclusión social y la protección del medio ambiente.

Prerrequisitos

Matemáticas básicas y programación.

Contenidos

Contenidos teóricos 

1 Trazado de rayos

1.1 Introducción y motivación 

1.2 Conceptos básicos Recuperación y trazado de rayos básico 

1.2.1  Rayos primarios y secundarios 

1.3 Iluminación directa 

1.3.1 Introducción a las sombras suaves 

1.4 Iluminación global y ecuación de renderización 

1.4.1 Aliasing

2. Gráficos de volumen 

2.1 Motivación 

2.2 Introducción y fundamentación teórica 

2.2.1 Caso de uso y conceptos básicos 

2.2.2 Modelos ópticos y la ecuación de rendering de volumen 

2.2.3 Integral de rendering de volumen, su interpretación y algunas variantes 

2.2.4 Cálculo de la Integral de rendering de volumen 

2.2.5 Datos de volumen y filtros de reconstrucción 

2.2.6 Pipeline de renderizado de volumen y enfoques básicos 

2.2.7 Funciones de transferencia 

2.3 Programación básica de GPU 

2.3.1 La pipeline de gráficos 

2.3.2 Procesamiento de vértices 

2.3.3 Procesamiento de fragmentos 

2.3.4 Operaciones de Frame Buffer 

2.4 Ray casting basada en GPU 

2.4.1 Estructura básica de Ray casting 

2.4.2 Aspectos de rendimiento y métodos de aceleración 

2.4.3 Ray casting en rejillas tetraédricas 

3. Aspectos de animación humana 

Contenidos de seminarios y prácticas 

Habrá dos bloques principales, uno relacionado con los gráficos de volumen y el otro con Ray Tracing. 

1) Trazado de rayos.  ¡Dos tareas que juntas forman un Ray Tracer básico en un proyecto de C++.

A1.1 

Trazador de rayos básico (generación de rayos, intersección e iluminación Phong) (2 semanas)

A1.2 

Trazador de rayos avanzado (Implementación del algoritmo de iluminación global, sombras suaves y material especular/difuso/transparente) (3 semanas)

2) Gráficos de volumen. Dos tareas: 

A2.1 

Representador volumétrico básico de trazado de rayos 

A2.2 

Renderizador volumétrico de trazado de rayos mejorado 

Estas tareas requerirán el uso de C ++ y OpenGL, y los seminarios y laboratorios proporcionarán introducciones prácticas para ellos, así como orientaciones hacia las tareas. 

Es posible que haya  un bloque introductorio, revisando los aspectos básicos de infografía (framework que se usará, pipeline de la GPU, shaders) y que haya una práctica adicional sobre octrees.

Metodología docente

La organización del curso se basa en la interacción de la teoría, seminarios y laboratorios. Durante las sesiones teóricas, se introducirán los conceptos de Computer Graphics, junto con la discusión de los aspectos matemáticos (geométricos) y de computación. Durante los seminarios y laboratorios, se discuten conocimientos más profundos de los aspectos informáticos (programación, estructuras de datos), junto con material complementario relacionado con las tareas, y durante los laboratorios, el enfoque se centra en los resultados (informáticos). Los estudiantes trabajarán en grupos. 

Como se indicó al principio, los aspectos informáticos son muy relevantes para las competencias previstas del curso. El curso pretende complementar los fundamentos de la programación de gráficos con C ++, así como la API de OpenGL. 

Evaluación

La evaluación de la parte teórica se basará en los ejercicios, informes y presentaciones solicitados; la actividad online puede incrementarlo. Esto representará 1/3 de la calificación general, mientras que el resto se basará en la calificación de seminarios y laboratorios. Se proporcionará más información en el Aula Global. 

La nota de seminarios y laboratorios (que representa 2/3 de la nota global) deriva del informe + código totalmente comentado + entrevista + prueba de las diferentes tareas. 

Las tareas A1 y A2 tendrán un peso respectivo de 50% y 50%. La actividad online puede dar puntuación adicional. 

Las tareas/actividades se pueden recuperar.

Bibliografía y recursos de información

Las referencias principales son:

Klaus Engel, Markus Hadwiger, Joe Kniss, Christof Rezk-Salama, Daniel Weiskopf: Real-Time Volume Graphics, A K Peters, 2006. 

Tomas Akenine-Möller, Eric Haines, Naty Hoffman: Real-Time Rendering (4th Edition), A K Peters/CRC Press, 2018. 

Matt Pharr, Wenzel Jakob, Greg Humphreys:  Physically Based Rendering: From Theory to Implementation(3rd Edition), Morgan Kaufmann, 2016.

Dutré, Philip.; Bala, Kavita.; Bekaert, Philippe: Advanced global illumination, A K Peters/CRC Press 2006

Glassner, Andrew S.: An Introduction to ray tracing, Morgan Kaufmann Elsevier, 1989

And an important reference as well are the SIGGRAPH courses. An interesting secondary reference is: 

Bernhard Preim, Charl Botha: Visual Computing for Medicine - Theory, Algorithms, and Applications(2nd Edition), Morgan Kaufmann, 2013.