Acquisizione multi-telecamera, stereo-ricostruzione, codifica e compressione di immagini

Unità Operativa: Dipartimento di Elettronica e Informazione (DEI)
Politecnico di Milano (PdM)

Responsabile: Prof. Fabio Rocca

Collaboratori:
Dr. Federico Pedersini
Dr. Augusto Sarti
Prof. Stefano Tubaro

Riferimento per l' Unita' Operativa
Prof. Stefano Tubaro
Dipartimento di Elettronica e Informazione
Politecnico di Milano
Piazza Leonardo da Vinci 32
20133 Milano
Tel: 02-2399-3647
Fax: 02-2399-3413
Email: tubaro@elet.polimi.it

Descrizione della ricerca

L'attivita` svolta durante il biennio 1994-95 e` stata orientata alla realizzazione di sistemi passivi di ricostruzione accurata e misura 3D basati sull'uso di telecamere a risoluzione TV. Si e` scelto questo tipo di sensori per ridurre al minimo il costo del sistema. Inoltre ci si e` orientati verso sistemi multitelecamera poiche` cio` semplifica grandemente il processo legato al riconoscimento degli elementi stereo-corrispondenti rispetto al caso di semplici sistemi binoculari.

Strumenti e metodologie

Nel biennio 1994-95 si e` dapprima realizzato un sistema di ripresa trinoculare meccanicamente affidabile [foto 1: schema a blocchi del sistema di acquisizione ed elaborazione (8K), 2: un prototipo del sistema di ripresa trinoculare (48K) e 3: soggetto BOX: Terna delle immagini originali (80K)]. Sono state poi messe a punto tecniche efficienti ed affidabili per la calibrazione automatica del sistema di ripresa. Per quanto riguarda gli algoritmi di ricostruzione e misura 3D, le principali attivita` hanno riguardato:

• Integrazione di dati 3D ottenuti dall'accoppiamento di contorni con dati ottenuti basandosi sull'accoppiamento dei profili di luminanza di piccole aree di immagine. Sono qui riportati a titolo illustrativo alcuni risultati relativi alla ricostruzione 3D del volto di un manichino [foto 4: una delle immagini originali (72K), 5: ricostruzione 3D dei contorni e di alcuni punti ottenuti da accoppiamento di finestre areali (8K), 6: ricostruzione finale della superficie, rappresentata come rete di triangoli (96K) e 7: ricostruzione 3-D finale, con restituzione informazione pittorica. Generazione di una vista sintetica del soggetto (32K)].
• Integrazione di piu` viste trinoculari per una ricostruzione completa degli oggetti ripresi. Per testare la bontà delle tecniche sviluppate si sono effettuate riprese trinoculari multiple di oggetti diversi ottenendo risultati molto significativi [foto soggetto TRAIN 8a: una immagine originale ( 64K), 8b: una vista dei contorni 3D ricostruiti (8K), soggetto FISH 9a: una immagine originale (56K), 9b: una vista dei contorni 3D ricostruiti (24K) e 10: soggetto FISH: Una vista virtuale preliminare del soggetto, creata a partire dal modello 3D (40K)].
• Uso di tecniche di estrazione e intersezione di coni di occlusione per la descrizione di oggetti 3D. Sono state sviluppate tecniche di ricostruzione 3D molto accurate basate sull'uso di luce strutturata "non calibrata" (ad. es. non reticolo di punti luminosi ottenuti con l'uso di un semplice proiettore per diapositive). Sono qui riportati a titolo illustrativo alcuni risultati relativi alla ricostruzione 3D di un piatto in rame lavorato a sbalzo [foto 11: soggetto PLATE: Una immagine ripresa con luce naturale (88K), 12: soggetto PLATE: Una immagine ripresa con luce strutturata (56K) e 13: soggetto PLATE: Una ricostruzione del soggetto a partire dalle informazioni 3D ottenute con luce strutturata (80K)].
• Sintesi di viste virtuali degli oggetti ripresi sfruttando al meglio le informazioni relative alle acquisizioni trinoculari multiple, considerando e gestendo anche il caso di superfici parzialmente speculari.

Le tecniche sviluppate sono fra loro complementari, per cui si prestano ad una integrazione per la costruzione di un sofisticato sistema di misura e ricostruzione 3D. Questa integrazione e` l'attivita` che l'unita` operativa si prefigge per il prossimo anno.

Risultati ottenuti

Come già illustrato precedentemente, per la validazione delle tecniche sviluppate si sono effettuate riprese trinoculari di vari oggetti, sia in laboratorio che presso il Teatro Romano di Aosta. In particolare, sulla facciata del teatro sono state effettuate riprese trinoculari, da diversi punti di vista, di un concio [foto 14: Acquisizione di immagini trinoculari presso il Teatro Romano di Aosta (128K), 15: un particolare del concio ripreso presso il Teatro Romano di Aosta (96K), 16: nuvole dei punti 3D ricostruiti a partire dalla vista trinoculare del particolare del concio (16K) e 17: ricostruzione 3-D finale del particolare del concio, con restituzione informazione pittorica (32K)]. Attraverso sessioni di misure 3D effettuate su oggetti con geometria nota si e` potuta stimare la precisione del sistema, risultata dell'ordine di 2, 3 parti su 10.000. I risultati relativi alle ricostruzioni 3D sono stati sempre di ottima qualita` e cio` ha permesso di mettere in luce le potenzialita` del sistema proposto.

Riferimenti bibliografici

• N. Ayache, Artificial vision for Mobile Robots, MIT Press, 1991.
• J. Canny, A Computational Approach to Edge Detection, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.8, No.6, pp.679-698, Nov. 1986.
• J. Liu, R. Skerjanc, Stereo and Motion Correspondence in a Sequence of Stereo Images, Signal Processing: Image Communication, Elsevier, N.5, 1993, pp. 305 318.
• J.L. Mallet, Discrete Smooth Interpolation, ACM Transactions on Graphics, vol.8, N.2, pp.121-144, 1989.
• K.E. Torrance, E.M. Sparrow, A Theory for Off-specular Reflection from Roughened Surface for Ray Reflection, J. Optical Society of America, Vol. 65, pp. 531-536, 1975.
• R. Y. Tsai - A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using off-the-shelf TV Cameras and Lenses - IEEE Journal on Robotics and Automation, Vol. RA-3, No. 4, Aug. 1987, pp. 323-344.
• J. Weng, N. Ahuja, T.S. Huang, Optimal Motion and Structure Estimation, IEEE Transactions, Vol. PAMI-39, N.12, 1991, pp. 2691-2717.

Pubblicazioni U. O.

• F. Pedersini, S. Tubaro, Accurate Calibration of Binocular Stereoscopic System and its application to 3-D Object Measurements, Int. Conf. on Image Processing, Theory and Applications, San Remo, Italy, Jun. 14-16, 1993, pp. 397-400.
• F. Pedersini, S. Tubaro, F. Rocca, Camera Calibration and Error Analysis, An Application to Binocular and Trinocular Stereoscopic Systems, Proc. Int. Workshop on Time Varying Image Processing and Moving Object Recognition, Florence, Italy, Jun. 10-11, 1993.
• S. Tubaro, F. Rocca, Motion Field Estimators and their Application to Image Interpolation, Chapter 6 of Motion Analysis and Image Sequence Processing, M.I. Sezan and R.L. Lagendijk Editors, Kluwer Academic Publishers, 1993.
• F. Pedersini. A. Sarti, S. Tubaro, Synthesis of Virtual Views Using non-Lambertian Reflectivity Models and Stereo Matching, Proc. ICIP-95, Washington D.C., October 23-26, 1995.
• P. Migliorati, S. Tubaro, Multistage Motion Estimation for Image Interpolation, Signal Processing: Image Communication, 1995, n. 7, pp. 187-199.

Foto

1. Schema a blocchi del sistema di acquisizione ed elaborazione. (8K)
2. Un prototipo del sistema di ripresa trinoculare. (48K)
3. Soggetto BOX: Terna delle immagini originali. (80K)
4. Soggetto CINDY: Una delle immagini originali. (72K)
5. CINDY: Ricostruzione 3D dei contorni e di alcuni punti ottenuti da accoppiamento di finestre areali. (8K)
6. CINDY: Ricostruzione finale della superficie, rappresentata come rete di triangoli. (96K)
7. CINDY: ricostruzione 3-D finale, con restituzione informazione pittorica. Generazione di una vista sintetica del soggetto. (32K)
8. Soggetto TRAIN: Una immagine originale (a) ( 64K) ed una vista dei contorni 3D ricostruiti (b). (8K) Tali contorni descrivono l'intera superficie esterna del soggetto poiche` sono ottenuti considerando una intera serie di viste trinoculari.
9. Soggetto FISH: Una immagine originale (a) (56K) ed una vista dei contorni 3D ricostruiti (b) (24K).
10. Soggetto FISH: Una vista virtuale preliminare del soggetto, creata a partire dal modello 3D (40K).
11. Soggetto PLATE: Una immagine ripresa con luce naturale. (88K)
12. Soggetto PLATE: Una immagine ripresa con luce strutturata. (56K)
13. Soggetto PLATE: Una ricostruzione del soggetto a partire dalle informazioni 3D ottenute con luce strutturata. (80K)
14. Acquisizione di immagini trinoculari presso il Teatro Romano di Aosta. (128K)
15. Un particolare del concio ripreso presso il Teatro Romano di Aosta. (96K)
16. Nuvole dei punti 3D ricostruiti a partire dalla vista trinoculare del particolare del concio. (16K)
17. Ricostruzione 3-D finale del particolare del concio, con restituzione informazione pittorica. (32K)

---

Ritorno alla Home page