Raspberry Pi stellt neue AI Kamera vor: Leistungsstarke Bildverarbeitung

Seit wir Raspberry Pi Produkte herstellen, werden sie von Menschen genutzt, um künstliche Intelligenz Projekte zu entwickeln. Mit jeder neuen Version der Geräte ist es möglich, immer leistungsfähigere Anwendungen nativ zu unterstützen. Dennoch gibt es auch Anwendungen, die einen externen Beschleuniger benötigen, wie zum Beispiel das Raspberry Pi AI Kit, das wir im Juni vorgestellt haben.

Das AI Kit ist ein beeindruckend leistungsfähiges Stück Hardware, das dreizehn Billionen Operationen pro Sekunde durchführen kann. Es ist jedoch nur mit dem Raspberry Pi 5 kompatibel und benötigt ein separates Kameramodul, um visuelle Daten zu erfassen. Deshalb freuen wir uns, eine neue Ergänzung unserer Produktreihe vorstellen zu dürfen: die Raspberry Pi AI Kamera.

Die AI Kamera basiert auf einem Sony IMX500 Bildsensor mit integriertem AI Beschleuniger. Sie kann eine Vielzahl beliebter neuronaler Netzwerksmodelle ausführen, mit geringem Stromverbrauch und geringer Latenz, wodurch der Prozessor im Raspberry Pi für andere Aufgaben frei bleibt.

Zu den wichtigsten Merkmalen der Raspberry Pi AI Kamera gehören:

• 12 MP Sony IMX500 Intelligent Vision Sensor
• Sensormodi: 4056×3040 bei 10 fps, 2028×1520 bei 30 fps
• Zellgröße: 1,55 µm × 1,55 µm
• 78 Grad Sichtfeld mit manuell einstellbarem Fokus
• Integrierter RP2040 für neuronale Netzwerke und Firmware Verwaltung

Die AI Kamera kann mit allen Raspberry Pi Modellen, einschließlich Raspberry Pi Zero, verbunden werden. Hierfür werden die normalen Kamerakabel verwendet.

Dank der Sony AI Tools können vorhandene neuronale Netzwerksmodelle, die mit Frameworks wie TensorFlow oder PyTorch erstellt wurden, effizient auf der AI Kamera ausgeführt werden. Alternativ können neue Modelle entworfen werden, die die speziellen Fähigkeiten des AI Beschleunigers nutzen.

Technische Details

Um den integrierten AI Beschleuniger zu nutzen, muss zunächst ein Modell hochgeladen werden. Bei älteren Raspberry Pi Geräten erfolgt dies über das I2C Protokoll. Beim Raspberry Pi 5 nutzen wir ein viel schnelleres benutzerdefiniertes Zweidraht Protokoll. Am Kameraende wird die Verbindung durch einen RP2040 Mikrocontroller gesteuert. Ein angeschlossenes 16MB Flash Gerät speichert kürzlich verwendete Modelle, wodurch der Upload Schritt in vielen Fällen übersprungen werden kann.

Sobald der Sensor mit dem Streaming beginnt, funktioniert der IMX500 wie ein normaler Bayer Bildsensor, ähnlich dem Raspberry Pi Kameramodul 3. Ein integrierter Bildsignalprozessor (ISP) führt grundlegende Bildverarbeitungsaufgaben durch, bevor die Bilder direkt an den AI Beschleuniger weitergeleitet werden. Nach der Verarbeitung durch das neuronale Netzwerk wird das Ergebnis zusammen mit dem ursprünglichen Bild an den Raspberry Pi über den CSI 2 Kamerabus übertragen.

Integration mit Raspberry Pi libcamera

Ein großer Vorteil der AI Kamera ist die nahtlose Integration in die Raspberry Pi Kamera Software. Libcamera verarbeitet den Bayer Frame mit unserem eigenen ISP und synchronisiert ihn mit den Ergebnissen des neuronalen Netzwerks. Beide Ausgaben werden während des Abschlusses der Anforderung an die Anwendung zurückgegeben.

Anwendungen wie Picamera2 und rpicam apps oder andere libcamera basierte Anwendungen können das Ausgabe Tensorobjekt abrufen, das korrekt mit dem Sensor Frame synchronisiert ist. Ein Beispiel dafür ist ein Objekterkennungsnetzwerk (MobileNet SSD), das auf einem 1080p Video bei 30 fps ausgeführt wird. Auch eine Pose Schätzung (PoseNet) bei 1080p und 30 fps ist möglich.

Diese Beispiele wurden zwar auf einem Raspberry Pi 4 aufgenommen, aber sie laufen mit der gleichen Leistung auch auf einem Raspberry Pi Zero.

Zusammen mit Sony haben wir eine Reihe von neuronalen Netzwerksmodellen für die AI Kamera veröffentlicht, die in unserem Model Zoo zu finden sind, sowie Visualisierungsbeispiele mit Picamera2.

Welches Produkt solltest du kaufen?

Solltest du das Raspberry Pi AI Kit oder die Raspberry Pi AI Kamera kaufen? Das AI Kit hat eine höhere theoretische Leistung und unterstützt eine breitere Palette von Modellen, ist aber nur mit dem Raspberry Pi 5 kompatibel. Die AI Kamera hingegen ist kompakter, günstiger und mit allen Raspberry Pi Modellen kompatibel.

Beide Produkte bieten großartige Leistung für häufige Modelle und sind optimiert, um reibungslos mit unserer Kamerasoftware zu arbeiten.

Loslegen und weitergehen

In unserem „Getting Started“ Leitfaden findest du Anweisungen zur Installation der AI Kamera, zur Einrichtung der Softwareumgebung und zur Ausführung der Beispiele und neuronalen Netzwerke aus unserem Model Zoo.

Auf der Sony AITRIOS Entwicklerseite gibt es zudem technische Ressourcen zum IMX500 Sensor, IMX500 Converter und IMX500 Pacakge die besonders nützlich sind, wenn du eigene Netzwerke auf der AI Kamera laufen lassen möchtest.

Wir sind gespannt, welche unglaublichen AI Projekte du mit den neuen Tools umsetzen wirst. Der Start des AI Kits und jetzt auch der AI Kamera eröffnet neue Möglichkeiten für hochauflösende und qualitativ hochwertige visuelle AI Anwendungen. Was du damit bauen wirst, wissen wir nicht – aber wir sind sicher, dass es großartig sein wird!