Morphing and level-of-detail operators for interactive digital material design and rendering - Laboratoire Traitement et Communication de l'Information Access content directly
Theses Year : 2022

Morphing and level-of-detail operators for interactive digital material design and rendering

Des opérateurs de morphing et de niveau de détail pour le design et le rendu interactif de matériaux

Abstract

The Physically Based Rendering workflow has become a standard for rendering digital materials for the creative industries, such as video games, visual special effects, product design and architecture. It enables developers and artists to create and share ready-to-use photorealistic materials among a wide variety of applications.In this workflow, 3D surfaces are mapped to a 2D texture space where their Spatially Varying Bidirectional Reflectance Distribution Functions are encoded as a set of bitmap images called PBR maps queried efficiently at runtime. These maps represent interpretable physically based quantities while allowing for the reproduction of a wide range of material appearances. They can be reconstructed from real-world photographs or generated procedurally.Unfortunately, both approaches to PBR material authoring require advanced skills and a significant amount of time to model convincing materials to be used by photorealistic renderers. In addition, while all channels are encoded in the same pixel grid, they describe heterogeneous quantities of very different nature at different scales that are partly correlated. The information described in the maps can be either geometrical for the height, normal, and roughness or colorimetric for the albedo. The roughness relates to the distribution of microfacet normals, embedded atop the normal's tangent plane, which location is given by the height map. This description allows for efficient renderings but prevents the use of simple image processing operators jointly across maps for interpolating or filtering.In this thesis, we explore efficient morphing and level-of-detail operators to tackle these difficulties. We propose a novel morphing operator which allows creating new materials by simply blending two existing ones while preserving their dominant structures and features all along the interpolation. This operator allows exploring large regions of the space of possible materials using exemplars as anchors and our interpolation scheme as a navigation means. We also propose a novel approach for SVBRDF mipmapping which preserves material appearance under varying view distances and lighting conditions. As a result, we obtain a drop-in replacement for standard material mipmapping, offering a significant improvement in appearance preservation while still boiling down to a single per-pixel mipmap texture fetch. These operators have been experimentally validated on a large dataset of examples.Overall, our proposed methods allow for interpolating materials in the canonical space of textures as well as along the downscaling pyramid for preserving and exploring appearance.
Le rendu inspiré par la physique est devenu une norme pour le rendu de matériaux numériques dans les industries créatives, telles que les jeux vidéo, les effets spéciaux, la conception de produits et l'architecture. Il permet aux développeurs et aux artistes de créer et de partager des matériaux photoréalistes prêts à l'emploi entre une grande variété d'applications.Dans ce contexte, les surfaces 3D sont mises en correspondance avec un espace de texture 2D où leurs fonctions de distribution de réflectance bidirectionnelle variant dans l'espace sont encodées sous la forme d'un ensemble d'images bitmap appelées cartes PBR, lues efficacement au cours du rendu. Ces cartes représentent des quantités physiques interprétables tout en permettant la reproduction d'un large éventail d'apparences de matériaux. Elles peuvent être reconstruites à partir de photographies du monde réel ou générées de manière procédurale.Malheureusement, ces deux approches de création de matériaux PBR nécessitent des compétences avancées et un temps considérable pour modéliser des matériaux convaincants destinés à être utilisés par des moteurs de rendu photoréalistes. De plus, bien que ces cartes soient encodées dans le même espace bidimensionnel de pixels, celles-ci décrivent des quantités de nature hétérogènes et à des échelles différentes, et qui sont en partie corrélées. L'information décrite dans ces cartes est de nature géométrique pour la hauteur et la normale, statistique pour la rugosité, ou encore colorimétrique pour l'albédo. La rugosité modélise la distribution de normales des microfacettes, dont le support dépend de la normale définissant l'espace tangent, lui-même définit par la position dans la carte de hauteur. Cette description du matériau permet des rendus rapides mais empêche l'utilisation d'outils de traitement d'images RGB conjointement sur les cartes, pour des applications d'interpolation ou de filtrage notamment.Dans cette thèse, nous explorons des opérateurs de morphing et de niveau de détail efficaces pour résoudre les difficultés susmentionnées. Nous proposons un nouvel opérateur de morphing permettant de créer de nouveaux matériaux en mélangeant simplement deux matériaux existants tout en préservant leurs caractéristiques dominantes tout au long de l'interpolation. Cet opérateur permet d'explorer l'espace des matériaux possibles en utilisant des exemples comme ancres et notre schéma d'interpolation comme moyen de navigation. Nous proposons également une nouvelle approche pour le mipmapping SVBRDF qui préserve l'apparence des matériaux sous des conditions de vue et d'éclairage variables. Ainsi, nous substituons simplement le mipmapping standard de matériaux en offrant une amélioration significative de la préservation de l'apparence, tout en gardant un unique accès texture par pixel. Ces opérateurs ont été validés expérimentalement au travers d'un grand nombre d'exemples.Globalement, les méthodes que nous proposons permettent d'interpoler les matériaux dans l'espace canonique des textures ainsi que le long de la pyramide de réduction d'échelle pour préserver et explorer l'apparence.
Fichier principal
Vignette du fichier
114189_GAUTHIER_2022_archivage.pdf (134.1 Mo) Télécharger le fichier
Origin : Version validated by the jury (STAR)

Dates and versions

tel-03938584 , version 1 (13-01-2023)

Identifiers

  • HAL Id : tel-03938584 , version 1

Cite

Alban Gauthier. Morphing and level-of-detail operators for interactive digital material design and rendering. Image Processing [eess.IV]. Institut Polytechnique de Paris, 2022. English. ⟨NNT : 2022IPPAT036⟩. ⟨tel-03938584⟩
197 View
6 Download

Share

Gmail Facebook X LinkedIn More