The Imaging Source präsentiert: Erweiterte Embedded Vision-Produktlinie
Um im Sinne von Embedded Vision die Leistungsmerkmale der Embedded-Rechner von NVIDIA und des Raspberry Pi 4 nutzen zu können, bietet The Imaging Source dazu passende MIPI-CSI-2-Platinenkameras an. Jetzt hat das Unternehmen seine MIPI-CSI-2-Kameraserie um FPD-Link-III-Kameras mit größeren Kabellängen erweitert.
Viele Machine-Vision-Anwendungen, vor allem solche mit mehreren Kameras, erfordern größere Kabellängen als die etwa 20 cm, die bei den MIPI-CSI-2-Kameras nicht überschritten werden sollten. The Imaging Source hat daher seine MIPI-CSI-2-Kameraserie um FPD-Link-III-Kameras für Kabellängen bis zu 15 m erweitert. Über ein dünnes Koaxkabel mit 2,8 mm Durchmesser lassen sich Bilddaten mit bis zu 4,16 Gbit/s übertragen, wobei Bilddaten, Steuerbefehle (z.B. über I2C) und Stromversorgung simultan übertragen werden. Die Bandbreite reicht aus, um beispielsweise die Bilddaten einer 5-MPixel-Kamera mit 30 Frames/s zu transferieren.
Ganz gleich, ob eine Anwendung eine MIPI CSI-2- oder FPD-Link-Schnittstelle, eine hohe Auflösung oder hohe Bildraten erfordert,
The Imaging Source bietet ein breites Portfolio an Embedded-Vision-Kameramodulen.
Kunden haben jetzt also die Wahl zwischen MIPI-CSI-2- und FPD-Link-III-Platinenkameras sowie FPD-Link-III-Kameras im IP67-Gehäuse. Die kompakten Kameras sind als Monochrom- und Farbversionen mit aktuellen CMOS-Bildsensoren von Sony und On Semiconductor erhältlich. Zur Wahl stehen Global-Shutter- und Rolling-Shutter-Bildsensoren mit Auflösungen von 0,3 MPixel (VGA) bis 8,3 MPixel.
Anschluss der Platinenkameras an die Embedded-Rechner
The Imaging Source stellt MIPI-CSI-2- und FPD-Link-III-Kamera-Anschlussboards mit 1 bis 6 Kameraeingängen zum Anschluss der Platinenkameras an die Embedded-Rechner Jetson Nano, Xavier NX und AGX Xavier von NVIDIA sowie den Raspberry Pi 4 bereit. Welche Gründe gibt es für Anwender aber, nicht USB-3- oder GigE-Kameras zu verwenden, sondern MIPI-CSI-2- oder FPD-Link-III-Kameras? Die Antwort darauf liegt aus Sicht von The Imaging Source in den Leistungsmerkmalen der Hardware-beschleunigten Image Signal Processors (ISPs) als Herzstücke der genannten Embedded-Rechner. Die MIPI-CSI-2-Schnittstellen der Embedded-Rechner sind direkt mit dem ISP verbunden, um Latenzen und Datenkonvertierungen zu vermeiden. Die MIPI-CSI-2-Kameras von The Imaging Source haben keine Bildverarbeitungstechnik und reichen die rohen Bilddaten direkt zur Schnittstelle weiter. Kamera-Boards dieser Art sind daher besonders kostengünstig. Der ISP übernimmt Hardware-beschleunigte Operationen wie etwa De-Bayering, Farbkorrektur, Farbraumkonvertierung, Weißabgleich, Objektivkorrektur und Bilddatenkomprimierung (z.B. H.264/H.256).
Zwei-Kamera-Entwicklungskit mit dem NVIDIA Jetson Nano (MIPI CSI-2-Schnittstelle) und zusätzlicher aktiver Kühlung zur Vermeidung thermischer Drosselung.
Prädestiniert sind die genannten Embedded-Rechner von NVIDIA - Jetson Nano, Xavier NX und AGX Xavier - besonders für KI- und anspruchsvolle Machine-Vision-Applikationen. Sie bieten neben dem ISP eine GPU mit CUDA-Recheneinheiten und mehrere MIPI-CSI-2-Kameraschnittstellen. Die NVIDIA-Rechner vermögen mehrere neuronale Netze parallel auszuführen, um damit Bildsegmentierung, Bildklassifikation und Objekterkennung zu realisieren. Nvidias SDK "JetPack" unterstützt sämtliche Embedded-Rechner des Unternehmens.
Carrier-board mit sechs FPD Link III-Kameramodulen mit dem Jetson AGX Xavier.
Für Deep Learning sowie zur Bild- und Videoverarbeitung bietet NVIDIA umfangreiche Software-Bibliotheken an. The Imaging Source stellt die entsprechenden Kameratreiber bereit, die sich nahtlos in das NVIDIA-Software-Framework einfügen. So lassen sich Bilddaten direkt an ein vortrainiertes Deep-Learning-Modul übergeben.
Für weniger anspruchsvolle Bildverarbeitungs-Aufgaben bietet sich der Raspberry PI 4 mit einer MIPI CSI-2 Kameraschnittstelle und ISP an. Auch hier ist die MIPI CSI-2 Schnittstelle direkt mit dem ISP verbunden. Der Raspberry PI 4 ist z. B. in der Lage hochauflösende Bilder H.264 zu komprimieren und über Ethernet oder WLAN zu versenden.
Die NVIDIA und der Raspberry PI Rechner Plattformen werden von einer großen Open Source und Maker Community unterstützt. Supportfragen können in entsprechenden Foren gepostet werden, wo sich Entwickler untereinander austauschen. NVIDIA bietet darüber hinaus z. B kostenlose Online-Schulungen zum Thema Deep Learning an.