Capture Engine Unit von Renesas
Peripheral für Embedded-Vision
Fortsetzung des Artikels von Teil 1
Vergleich mit der parallelen Datenerfassung
PDC ist eine weitere Peripherie für die Bilderfassung, die in der RA-Familie verfügbar ist, im Besonderen auf dem RA6M3-Mikrocontroller. Während diese Peripherie für MCUs der mittleren bis unteren Leistungsklasse geeignet ist, bietet die CEU zahlreiche, bereits beschriebene Funktionen, die sie zur idealen Wahl für MCUs der oberen
Jobangebote+ passend zum Thema
Leistungsklasse machen (Bild 4). Einen kurzen Vergleich der beiden Bausteine zeigt die Tabelle, die eine Reihe zusätzlicher Funktionen der CEU deutlich herausstellt.
Einsatz der Capture Engine Unit
Es ist oft aufwendig, eine neue Peripherie zu testen, besonders für diejenigen, die mit den Tools und Prozessen der Halbleiterhersteller nicht vertraut sind. Renesas hat sich aber zu einer benutzerfreundliche Integration verpflichtet, sodass das Navigieren durch die komplexen Hardwarehandbücher deutlich einfacher ist. Das FSP (Flexible Software Package) unterstützt die CEU umfassend, wie auch alle anderen Peripherieelemente der RA-Familie. Durch die Abstraktion komplexer Registerinformationen in eine intuitive grafische Benutzeroberfläche (Graphical User Interface, GUI) vereinfacht das FSP den Prozess, sorgt für eine reibungslose Integration und ermöglicht eine schnelle Prototypenerstellung.
Darüber hinaus können Entwickler mithilfe der Quick Start Example Projects (QSEP), die Renesas für jede MCU bereitstellt, die Einstiegshürden für diese neuen Peripherien senken. Diese QSEPs sind entsprechend konzipiert, dass sie problemlos auf dem RA8D1-Evaluierungskit ausgeführt werden können und dienen als umfassende Sammlung von aufschlussreichen einfachen Demos. Das in Bild 5 gezeigte RA8D1-Evaluierungskit mit einem handelsüblichen CMOS-Kameramodul OV3640 von Arducam kann 15 Bilder pro Sekunde in QXGA-Auflösung (2048 x 1536) aufnehmen. Es bietet zusammen mit einem 4,5-Zoll-WVGA-TFT-Display mit Hintergrundbeleuchtung und kapazitivem Touch eine ideale Plattform für Tests und Simulationen.
Das QSEP für den RA8D1 bietet einen soliden Ausgangspunkt und steht auf der Webseite von Renesas für den RA8D1 zum Download bereit. Es bietet einen einfachen CEU-Beispielcode für die Bilderfassung in VGA- und SXGA-Auflösung sowie den wesentlichen Quellcode für die OV3640-Kamera. Damit können Anwender schnell in die praktische Anwendungsentwicklung einsteigen. Dank dieser Ressourcen erhält der Benutzer wertvolle Einblicke in die API-Implementierung (Application Programming Interface) der CEU innerhalb des FSP.
Anwendungsbeispiele aus der Praxis
Wie bereits erwähnt, können Anwender dank der Integration der CEU in die RA8-Serie Bildverarbeitungsanwendungen von der einfachen Bilderfassung und -anzeige auf einem LCD bis hin zu anspruchsvollen Vision-AI-Anwendungen realisieren.
Peripheral für Embedded-Vision, Bilder 6-8
Auf dem EK-RA8D1-Board sind bereits eine Reihe von innovativen Anwendungen vorinstalliert (Bild 6), darunter zwei KI-Anwendungsfälle: Gesichtserkennung und Bildklassifizierung. Bild 7 zeigt eine Demo zur Bildklassifizierung mit einem MobileNetV1-Modell. Dies wurde auf dem ImageNet-Datensatz trainiert und weist eine beeindruckende Inferenzlatenz von 74 ms auf. Die Demo zur Gesichtserkennung in Bild 8 nutzt das schnellste Modell von You Only Look Once (YOLO), um Begrenzungsrahmen auf dem Gesicht zu erkennen und zu zeichnen. Die Inferenzlatenz beträgt hierbei lediglich 134 ms.
In beiden Demos wird das von der Kamera erfasste Bild mit VGA-Auflösung (640 x 480) aufgenommen. Es wird von der CEU auf 320 x 240 herunterskaliert, um weiter verarbeitet zu werden, bevor es als Eingabe für das KI-Modell verwendet wird. Die Kamerafunktion, das Herunterskalieren und das Übertragen in den Speicher erfolgten unabhängig von DMA und CPU, sodass diese Ressourcen für andere Aufgaben genutzt werden konnten, wie das Rendern des vorherigen Bildes auf dem LCD oder die Ausführung von Kommunikationsprotokollen.
Fazit
Die Integration der CEU in die Mikrocontroller der Renesas RA-Familie stellt einen großen Schritt im Bereich der Embedded-Vision-Applikationen dar. Wie in diesem Artikel beschrieben, bietet die CEU zahlreiche Funktionen, mit denen sich anspruchsvolle Bildverarbeitungsanwendungen auf Mikrocontrollern ausführen lassen. Die Verfügbarkeit von intuitiven und benutzerfreundlichen Tools, die Renesas über das FSP zusammen mit den QSEPs anbietet, vereinfacht den Entwicklungsprozess. So können Entwickler das Potenzial der CEU effektiv nutzen und die Entwicklungszeit erheblich verkürzen. Mit Anwendungsbeispielen aus der Praxis demonstriert Renesas die Leistungsfähigkeit der RA8-Serie für Vision AI und andere Anwendungsfälle der Bildverarbeitung.
Der Autor
Eldar Sido ist Staff Engineer, Product Marketing bei Renesas Electronics.
- Peripheral für Embedded-Vision
- Vergleich mit der parallelen Datenerfassung
Lesen Sie mehr zum Thema
Das könnte Sie auch interessieren
MCUs mit erweiterten Touch-Funktionen
Hohe Energieeffizienz und Sicherheit
Renesas
Sensormodul für die Überwachung der Luftqualität
Renesas Electronics
Kostenfreie Version der Reality AI Tools für KI und TinyML
Renesas Electronics
Auf dem Weg zur 100-Mrd.-Dollar-Company
