Improving the utilization of close-range photogrammetry and terrestrial laser scanning for photorealistic urban 3D modeling

Abstract

Photorealistic urban 3D models have become valuable and much-requested tools for visualizing, managing, developing, and understanding growing and densifying urban environments in diverse use cases ranging from interactive digital twins to engaging XR experiences. Close-range photogrammetry and terrestrial laser scanning (TLS) can produce accurate, detailed, and photorealistic 3D models from complex urban environments. These close-range 3D measuring techniques are well acknowledged for their complementary benefits and high level of geometric accuracy. However, the quality of the model appearance has been rarely assessed for photorealism. Furthermore, the 3D model itself does not guarantee its utilization and usefulness, though the application platform plays a significant role in putting it into beneficial use. The dissertation developed ways to improve the utilization of close-range photogrammetry and TLS for photorealistic urban 3D modeling. First, relevant application platforms were identified by studying real-life urban 3D modelling activities. Second, automated multi-sensor urban 3D modeling was experimented for a photorealistic web-based application and the quality of the produced models (close-range photogrammetry, TLS, and a combination of them) was evaluated from the perspective of both model geometry and textures. Finally, the quality of TLS point cloud colorization was evaluated by analyzing the TLS instrument's capability to reproduce color and details in the scene. The results identified real-time 3D platforms (i.e., game engines and virtual globes) as the most relevant application platforms for utilizing photorealistic urban 3D models. Integrating close-range photogrammetry and TLS proved a good compromise for efficient model production between the superior texture quality of photogrammetry and the better geometric quality of TLS. Finally, a new method was developed for evaluating the quality of TLS point cloud colorization, which revealed quality differences among all tested commercial TLS instruments and settings. The dissertation research improved the utilization of and offered a deeper understanding of the efficiency and quality of close-range photogrammetry and TLS for photorealistic urban 3D modeling. For photorealistic use cases, it is crucial to understand the quality of a 3D model as a combination of geometry and appearance. Together, the close-range 3D measuring methods and real-time 3D platforms enable the efficient and beneficial creation and utilization of highly detailed, photorealistic, urban 3D models in both new and well-established fields.

Kaupunkien fotorealistisista 3D-malleista on tullut yhä arvokkaampia ja kysytympiä työkaluja kasvavien ja tiivistyvien kaupunkiympäristöjen visualisoinnissa, hallinnoinnissa, kehittämisessä ja ymmärtämisessä. Erityisesti lähifotogrammetria ja maalaserkeilaus kykenevät tuottamaan tarkkoja, yksityiskohtaisia ja fotorealistisia 3D-malleja monimutkaisista kaupunkiympäristöistä. Nämä 3D-mittausmenetelmät ovat toisiaan täydentäviä ja tarkkoja, mutta niillä tuotettujen 3D-mallien ulkonäön laatua on tutkittu yllättävän vähän fotorealististen sovellusten näkökulmasta. Lisäksi sovellusalustat ovat 3D-mallien hyödyntämisen kannalta merkittävässä roolissa. Väitöskirjatyössä kehitettiin tapoja parantaa lähifotogrammetrian ja maalaserkeilauksen hyötykäyttöä fotorealistisessa 3D-kaupunkimallintamisessa. Ensin tunnistettiin olennaiset sovellusalustat tutkimalla käynnissä olevia 3D-kaupunkimallinnushankkeita. Sitten tehokasta mallintuotantoa testattiin kaupunkiympäristön fotorealistista verkkosovellusta varten ja eri mallinnusmenetelmiä (lähifotogrammetriaa, maalaserkeilausta ja niiden yhdistelmää) verrattiin toisiinsa arvioimalla mallien geometrian ja teksturoinnin laatua. Lopuksi maalaserkeilainten tuottaman pistepilven värjäyksen laatua analysoitiin värien ja yksityiskohtien toistokyvyn näkökulmasta. Tulokset osoittivat 3D-grafiikan reaaliaikaiseen renderöintiin perustuvien alustojen (pelimoottorit ja virtual globe -alustat) olevan olennaisimpia sovellusalustoja fotorealististen 3D-kaupunkimallien hyödyntämiseen. Lähifotogrammetrian ja maalaserkeilauksen välisen integroinnin havaittiin olevan hyvä kompromissi, jossa yhdistyvät lähifotogrammetrian parempi teksturoinnin laatu sekä maalaserkeilauksen parempi geometrinen laatu. Lopuksi maalaserkeilainten tuottaman pistepilven värjäyksen laadun arviointiin kehitettiin uusi menetelmä, joka paljasti fotorealististen sovellusten kannalta merkittäviä laatueroja kaikkien menetelmällä testattujen kaupallisten laserkeilainten ja asetusten välillä. Tutkimustyö paransi testattujen 3D-mittausmenetelmien hyödyntämismahdollisuuksia fotorealistisen 3D-kaupunkimallinnuksen tarpeisiin sekä tarjosi uutta tietoa niiden tehokkuudesta ja laadusta. Fotorealistisissa sovelluksissa on tärkeää ymmärtää 3D-mallin laatu kokonaisvaltaisesti sekä mallin geometrian että ulkonäön kannalta. Työssä tutkitut 3D-mittausmenetelmät ja reaaliaikaiseen renderöintiin perustuvat alustat yhdessä mahdollistavat fotorealististen ja yksityiskohtaisten 3D-kaupunkimallien tehokkaan tuotannon sekä hyötykäytön niin uusilla kuin jo vakiintuneillakin sovellusaloilla.