Kann man mit KI Programmierer ersetzen? Ich pers\u00f6nlich empfinde KI als ein sehr hilfreiches Werkzeug. Der Code der KI zeigt gerade bei neuen APIs einen guten Rahmen. Er kann aber nicht 1:1 \u00fcbernommen werden. Im Dialog entstehen jedoch sehr gute Vorlagen, aus denen man dann seinen Produktiv-Code ableiten kann. Hier ein Testbeipiel aus dem Bereich embedded Vision:<\/p>\n\n\n\n
Bitte zeige mir noch einmal das Beispiel mit libcamera und GStreamer<\/p>\n\n\n\n
Hier ist ein Beispiel, wie man Stellen Sie sicher, dass die folgenden Pakete installiert sind:<\/p>\n\n\n Falls du den Stream \u00fcber RTSP senden m\u00f6chtest, kannst du den Stream in GStreamer weiterleiten, um ihn \u00fcber das Netzwerk zu \u00fcbertragen:<\/p>\n\n\n\n Dieser Befehl streamt das Video \u00fcber UDP und kann auf einem anderen Ger\u00e4t empfangen werden.<\/p>\n\n\n\n Auf der Empf\u00e4ngerseite kann der Video-Stream mit GStreamer wiedergegeben werden:<\/p>\n\n\n\n Mit Lass mich wissen, falls du weitere Anpassungen oder Erkl\u00e4rungen ben\u00f6tigst!<\/p>\n\n\n\n Sorry, mein Fehler, ich hatte den Tab im Browser unabsichtlich geschlossen und Du hast dadurch wahrscheinlich den Kontext verloren<\/p>\n\n\n\n Kein Problem, das kann passieren! Wenn du mir den Kontext nochmal gibst oder beschreibst, was du genau ben\u00f6tigst, kann ich dir weiterhelfen. M\u00f6chtest du vielleicht das Beispiel mit Ich m\u00f6chte einen Videostream in C++ realisieren. Um mehr Einfluss auf die Konfiguration zu haben, m\u00f6chte ich nicht das fertige GStreamer-Plugin von libcamera nutzen, sondern selber eine L\u00f6sung auf Basis von AppSrc coden<\/p>\n\n\n\n Verstanden! Du m\u00f6chtest also einen Videostream in C++ realisieren und dabei Stelle sicher, dass du die folgenden Pakete installiert hast:<\/p>\n\n\n\n Hier ist ein einfaches C++-Beispiel, das zeigt, wie man Falls du ein CMake-Projekt verwendest, sollte deine cmake:<\/p>\n\n\n Um den Code zu kompilieren, f\u00fchre den folgenden Befehl aus:<\/p>\n\n\n\n Starte das Programm mit:<\/p>\n\n\n\n Das Programm sollte den Video-Stream von der Kamera erfassen und ihn auf deinem Bildschirm anzeigen.<\/p>\n\n\n\n Wenn du Fragen hast oder etwas detaillierter erkl\u00e4rt haben m\u00f6chtest, lass es mich wissen!<\/p>\n\n\n\n Hier gef\u00e4llt mir die \u00dcberf\u00fchrung der Frames per memcpy von libcamera zu gstreamer \u00fcberhaupt nicht. Ich m\u00f6chte die Frames nicht kopieren. Bitte passe das Beispiel an<\/p>\n\n\n\n Ah, ich verstehe! Du m\u00f6chtest die Frames von In diesem Fall m\u00fcssen wir den Puffer von Hier ist die angepasste Version des Codes, um Frames ohne Kopieren zu \u00fcbertragen. Wir verwenden den Mit dieser Methode verwendest du die libcamera-Frames direkt, ohne sie zu kopieren, und \u00fcbergibst sie direkt an GStreamer \u00fcber Ich h\u00e4tte nun gern eine Erweiterung bei den Zeitstempeln. Die Frames kommen bei mir \u00fcber MIPI zum Host. Ich m\u00f6chte bei den Zeitstempeln nicht die Systemzeit des Hosts, sondern des ISP verwenden. Bitte passe das Beispiel entsprechend an<\/p>\n\n\n\n Um die Zeitstempel direkt vom ISP (Image Signal Processor) anstelle der Systemzeit des Hosts zu verwenden, musst du sicherstellen, dass du auf die korrekte Zeitquelle zugreifst, die der ISP liefert. Die genaue Implementierung h\u00e4ngt stark von der verwendeten Kamera und der Art, wie libcamera die Zeitstempel bereitstellt, ab.<\/p>\n\n\n\n In Wir werden den Zeitstempel aus dem Mit dieser Anpassung wird der Zeitstempel aus dem ISP genutzt, um die Frames korrekt in GStreamer zu synchronisieren. Du musst nun nicht mehr auf die Systemzeit des Hosts zugreifen, sondern verwendest die Zeit, die der ISP f\u00fcr jedes Bild gesetzt hat. Dies sollte eine genauere und konsistentere Synchronisation der Frames erm\u00f6glichen.<\/p>\n\n\n\n Welches Ausgabeformat des ISPs w\u00fcrdest Du als Basis der GStream-Pipeline empfehlen, um die VideoProzessingUnit zu entlasten?<\/p>\n\n\n\n Um die Video Processing Unit (VPU)<\/strong> oder die CPU so weit wie m\u00f6glich zu entlasten, solltest du ein Ausgabeformat w\u00e4hlen, das bereits komprimiert oder in einer optimierten Form vorliegt. Dies reduziert den Aufwand f\u00fcr die Nachbearbeitung und Encoderarbeit in der GStreamer-Pipeline.<\/p>\n\n\n\n Hier sind einige Optionen und Empfehlungen, die je nach Ziel und Systemkonfiguration geeignet sind:<\/p>\n\n\n\n Das H.264<\/strong>– oder H.265 (HEVC)<\/strong>– Format bietet eine sehr gute Balance zwischen Kompressionsrate und Verarbeitungsaufwand. Viele moderne ISPs bieten die M\u00f6glichkeit, Videos direkt in diesen Formaten zu kodieren, wodurch die CPU oder VPU entlastet wird.<\/p>\n\n\n\n Ein anderes beliebtes Format ist RAW YUV (z. B. YUV420)<\/strong>. Hierbei handelt es sich um unkomprimierte Rohdaten, die von vielen ISPs direkt geliefert werden k\u00f6nnen. Diese Formate bieten hohe Flexibilit\u00e4t in der weiteren Verarbeitung und k\u00f6nnen von der Videoverarbeitungseinheit (VPU) oder der GPU effizient verarbeitet werden.<\/p>\n\n\n\n Das MJPEG<\/strong>– Format kodiert jedes Bild als JPEG und erzeugt eine Folge von JPEG-Bildern. Es kann in einigen Szenarien hilfreich sein, wenn du einfach nur eine schnelle und einfache Kompression ohne die Komplexit\u00e4t eines modernen Codecs ben\u00f6tigst.<\/p>\n\n\n\nlibcamera<\/code> und GStreamer<\/code> zusammen verwenden kann, um mit einer Kamera (wie einer Raspberry Pi-Kamera) einen Video-Stream zu erzeugen und ihn durch GStreamer zu verarbeiten:<\/p>\n\n\n\nVoraussetzungen:<\/h3>\n\n\n\n
\n
1. Installieren der notwendigen Pakete<\/h3>\n\n\n\n
\nsudo apt update\nsudo apt install libcamera-tools gstreamer1.0-tools gstreamer1.0-plugins-base gstreamer1.0-plugins-good\n<\/pre><\/div>\n\n\n
2. Beispiel f\u00fcr die Verwendung von
libcamera<\/code> mit GStreamer<\/h3>\n\n\n\nlibcamera-vid -t 0 --inline --codec h264 --width 1280 --height 720 --framerate 30 | gst-launch-1.0 -v fdsrc ! h264parse ! avdec_h264 ! autovideosink\n<\/pre><\/div>\n\n\n
Erkl\u00e4rung der Befehle:<\/h3>\n\n\n\n
\n
libcamera-vid<\/code>: Ein Kommandozeilen-Tool, das den Video-Stream von der Kamera aufnimmt.\n\n
-t 0<\/code>: L\u00e4uft unbegrenzt.<\/li>\n\n\n\n--inline<\/code>: F\u00fcgt NALUs (Network Abstraction Layer Units) in den Stream ein.<\/li>\n\n\n\n--codec h264<\/code>: Verwendet den H.264 Video-Codec.<\/li>\n\n\n\n--width 1280 --height 720<\/code>: Setzt die Aufl\u00f6sung des Streams auf 1280×720.<\/li>\n\n\n\n--framerate 30<\/code>: Setzt die Bildrate auf 30 fps.<\/li>\n<\/ul>\n<\/li>\n\n\n\ngst-launch-1.0<\/code>: GStreamer-Kommandzeilen-Tool, das den Video-Stream verarbeitet.\n\n
fdsrc<\/code>: Liest den Stream von libcamera-vid<\/code> als Datei-Deskriptor.<\/li>\n\n\n\nh264parse<\/code>: Parsen des H.264-Streams.<\/li>\n\n\n\navdec_h264<\/code>: Dekodieren des H.264-Streams.<\/li>\n\n\n\nautovideosink<\/code>: Automatisch das passende Video-Ausgabeger\u00e4t ausw\u00e4hlen.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n\n\n\n3. Alternativer Befehl f\u00fcr RTSP-Streaming<\/h3>\n\n\n\n
Bash<\/pre>\n\n\n
\nlibcamera-vid -t 0 --inline --codec h264 --width 1280 --height 720 --framerate 30 | \\\ngst-launch-1.0 -v fdsrc ! h264parse ! rtph264pay ! udpsink host=127.0.0.1 port=5000\n<\/pre><\/div>\n\n\n
\n
rtph264pay<\/code>: Verpackt den H.264-Stream f\u00fcr RTP (Real-Time Transport Protocol).<\/li>\n\n\n\nudpsink<\/code>: Sendet den RTP-Stream \u00fcber UDP an die angegebene IP-Adresse und den Port.<\/li>\n<\/ul>\n\n\n\n4. Empfangen des RTSP-Streams<\/h3>\n\n\n\n
bash<\/pre>\n\n\n
\ngst-launch-1.0 -v udpsrc port=5000 ! application\/x-rtp, payload=96 ! rtph264depay ! avdec_h264 ! autovideosink\n<\/pre><\/div>\n\n\n
Fazit:<\/h3>\n\n\n\n
libcamera<\/code> und GStreamer kannst du auf einfache Weise Video-Streams von einer Kamera erfassen und weiterverarbeiten. Du kannst den Stream lokal anzeigen oder ihn \u00fcber ein Netzwerk \u00fcbertragen, um ihn an einem anderen Ger\u00e4t zu empfangen.<\/p>\n\n\n\n
\n\n\n\nDu:<\/h5>\n\n\n\n
ChatGPT:<\/h6>\n\n\n\n
libcamera<\/code> und GStreamer noch einmal durchgehen oder etwas anderes anpassen?<\/p>\n\n\n\n
\n\n\n\nDu:<\/h5>\n\n\n\n
ChatGPT:<\/h6>\n\n\n\n
libcamera<\/code> verwenden, ohne auf das fertige GStreamer-Plugin zur\u00fcckzugreifen. Stattdessen m\u00f6chtest du den Stream \u00fcber AppSrc<\/strong> selbst in GStreamer einspeisen. Hier ist eine grobe Schritt-f\u00fcr-Schritt-Anleitung, wie du das machen kannst:<\/p>\n\n\n\n1. \u00dcberblick \u00fcber das Setup<\/h3>\n\n\n\n
\n
AppSrc<\/code> eingespeist.<\/li>\n\n\n\nAppSrc<\/code> ist ein GStreamer-Element, das es dir erm\u00f6glicht, Daten aus einer externen Quelle (z. B. aus einer Datei oder einer API) in einen GStreamer-Pipeline-Flow einzuspeisen.<\/li>\n\n\n\n2. Vorbereitung des Systems<\/h3>\n\n\n\n
Bash<\/pre>\n\n\n
\nsudo apt update\nsudo apt install libcamera-dev gstreamer1.0-dev gstreamer1.0-plugins-base gstreamer1.0-plugins-good\n<\/pre><\/div>\n\n\n
3. Grundlegender Codeaufbau<\/h3>\n\n\n\n
libcamera<\/code> zur Videoaufnahme verwendet und die Frames \u00fcber AppSrc<\/code> an eine GStreamer-Pipeline \u00fcbergibt.<\/p>\n\n\n\na. CMakeLists.txt<\/h4>\n\n\n\n
CMakeLists.txt<\/code> so aussehen:<\/p>\n\n\n\n\ncmake_minimum_required(VERSION 3.10)\n\nproject(LibcameraGStreamerAppSrc)\n\nfind_package(PkgConfig REQUIRED)\npkg_check_modules(LIBC CAMERA REQUIRED libcamera)\n\nfind_package(GStreamer REQUIRED)\nfind_package(GStreamerBase REQUIRED)\n\ninclude_directories(${LIBC_INCLUDE_DIRS} ${GSTREAMER_INCLUDE_DIRS})\n\nadd_executable(libcamera_gstreamer_appsrc main.cpp)\n\ntarget_link_libraries(libcamera_gstreamer_appsrc ${LIBC_LIBRARIES} ${GSTREAMER_LIBRARIES} ${GSTREAMERBASE_LIBRARIES})\n<\/pre><\/div>\n\n\nb. C++-Code (main.cpp)<\/h4>\n\n\n\n
cpp<\/pre>\n\n\n
\n#include <iostream>\n#include <libcamera\/libcamera.h>\n#include <gst\/gst.h>\n#include <gst\/app\/app.h>\n\nusing namespace std;\nusing namespace libcamera;\n\n\/\/ Funktionsprototypen\nvoid appsrc_push_buffer(GstAppSrc *appsrc, GstBuffer *buffer);\n\nint main() {\n \/\/ GStreamer initialisieren\n gst_init(NULL, NULL);\n\n \/\/ libcamera-Kamera initialisieren\n CameraManager *cameraManager = CameraManager::instance();\n cameraManager->start();\n Camera *camera = cameraManager->cameras()[0]; \/\/ W\u00e4hlen Sie die erste Kamera aus\n\n \/\/ Kamera konfigurieren\n StreamConfiguration config = camera->configuration()[0];\n config.size = Size(1280, 720); \/\/ Setze die Aufl\u00f6sung\n camera->configure({config});\n\n \/\/ GStreamer-Pipeline erstellen\n GstElement *pipeline = gst_pipeline_new("pipeline");\n GstElement *appsrc = gst_element_factory_make("appsrc", "source");\n GstElement *h264parse = gst_element_factory_make("h264parse", "parser");\n GstElement *avdec_h264 = gst_element_factory_make("avdec_h264", "decoder");\n GstElement *autovideosink = gst_element_factory_make("autovideosink", "sink");\n\n \/\/ Pipeline zusammenbauen\n gst_bin_add_many(GST_BIN(pipeline), appsrc, h264parse, avdec_h264, autovideosink, NULL);\n gst_element_link_many(appsrc, h264parse, avdec_h264, autovideosink, NULL);\n\n \/\/ AppSrc-Element konfigurieren\n GstCaps *caps = gst_caps_new_simple("video\/x-h264",\n "width", G_TYPE_INT, 1280,\n "height", G_TYPE_INT, 720,\n "framerate", GST_TYPE_FRACTION, 30, 1,\n NULL);\n g_object_set(appsrc, "caps", caps, NULL);\n gst_caps_unref(caps);\n\n \/\/ Pipeline starten\n gst_element_set_state(pipeline, GST_STATE_PLAYING);\n\n \/\/ libcamera Stream starten\n camera->start();\n\n \/\/ Frame-Puffer aus libcamera an AppSrc weitergeben\n while (true) {\n \/\/ Hole ein Frame von libcamera\n std::shared_ptr<Buffer> buffer = camera->capture();\n\n if (buffer) {\n \/\/ Erstelle einen GStreamer-Puffer\n GstBuffer *gst_buffer = gst_buffer_new_allocate(NULL, buffer->size(), NULL);\n memcpy(GST_BUFFER_DATA(gst_buffer), buffer->data(), buffer->size());\n\n \/\/ Puffer in AppSrc einspeisen\n appsrc_push_buffer(GTK_APP_SRC(appsrc), gst_buffer);\n\n gst_buffer_unref(gst_buffer); \/\/ Gib den GStreamer-Puffer nach dem Einspeisen wieder frei\n }\n }\n\n \/\/ Pipeline stoppen\n gst_element_set_state(pipeline, GST_STATE_NULL);\n\n \/\/ GStreamer freigeben\n gst_object_unref(pipeline);\n cameraManager->stop();\n return 0;\n}\n\n\/\/ Funktion, um einen Puffer in AppSrc zu schieben\nvoid appsrc_push_buffer(GstAppSrc *appsrc, GstBuffer *buffer) {\n GstFlowReturn ret;\n g_signal_emit_by_name(appsrc, "push-buffer", buffer, &ret);\n if (ret != GST_FLOW_OK) {\n cerr << "Fehler beim Pushen des Puffers in AppSrc!" << endl;\n }\n}\n<\/pre><\/div>\n\n\n4. Erkl\u00e4rung des Codes<\/h3>\n\n\n\n
\n
libcamera<\/code>, suchen die verf\u00fcgbare Kamera und konfigurieren sie (in diesem Fall auf 1280×720 und 30 fps).<\/li>\n\n\n\nappsrc<\/code> als Quelle, H.264 Parsing (h264parse<\/code>), H.264 Dekodierung (avdec_h264<\/code>) und einer Video-Ausgabe (autovideosink<\/code>).<\/li>\n\n\n\nlibcamera<\/strong><\/code> einlesen<\/strong>: In einer Schleife holen wir ein Frame von der Kamera und \u00fcbertragen es an GStreamer \u00fcber appsrc_push_buffer<\/code>.<\/li>\n\n\n\nAppSrc<\/code> gepusht werden, und diese werden dann \u00fcber die Pipeline weiterverarbeitet.<\/li>\n<\/ul>\n\n\n\n5. Kompilieren<\/h3>\n\n\n\n
bash<\/pre>\n\n\n
\nmkdir build\ncd build\ncmake ..\nmake\n<\/pre><\/div>\n\n\n
6. Ausf\u00fchren<\/h3>\n\n\n\n
bash<\/pre>\n\n\n
\n.\/libcamera_gstreamer_appsrc\n<\/pre><\/div>\n\n\n
7. Erweiterungen<\/h3>\n\n\n\n
\n
\n\n\n\nDu:<\/h5>\n\n\n\n
ChatGPT:<\/h6>\n\n\n\n
libcamera<\/code> direkt an GStreamer weitergeben, ohne sie in den Speicher zu kopieren. Das ist eine gute Idee, um die Performance zu verbessern und Speicheroperationen zu minimieren.<\/p>\n\n\n\nlibcamera<\/code> so verwenden, dass er direkt in den GStreamer-Puffer eingef\u00fcgt wird, ohne eine Kopie zu erzeugen. Dies k\u00f6nnen wir erreichen, indem wir GStreamer’s Direct Memory Access (DMA)<\/strong> verwenden und die Puffer-Referenzen beibehalten.<\/p>\n\n\n\ngst_buffer_new_wrapped()<\/code>-Mechanismus, um den libcamera-Puffer direkt in GStreamer zu integrieren.<\/p>\n\n\n\nAngepasster C++-Code<\/h3>\n\n\n\n
cpp<\/pre>\n\n\n
\n#include <iostream>\n#include <libcamera\/libcamera.h>\n#include <gst\/gst.h>\n#include <gst\/app\/app.h>\n\nusing namespace std;\nusing namespace libcamera;\n\n\/\/ Funktionsprototypen\nvoid appsrc_push_buffer(GstAppSrc *appsrc, GstBuffer *buffer);\n\nint main() {\n \/\/ GStreamer initialisieren\n gst_init(NULL, NULL);\n\n \/\/ libcamera-Kamera initialisieren\n CameraManager *cameraManager = CameraManager::instance();\n cameraManager->start();\n Camera *camera = cameraManager->cameras()[0]; \/\/ W\u00e4hlen Sie die erste Kamera aus\n\n \/\/ Kamera konfigurieren\n StreamConfiguration config = camera->configuration()[0];\n config.size = Size(1280, 720); \/\/ Setze die Aufl\u00f6sung\n camera->configure({config});\n\n \/\/ GStreamer-Pipeline erstellen\n GstElement *pipeline = gst_pipeline_new("pipeline");\n GstElement *appsrc = gst_element_factory_make("appsrc", "source");\n GstElement *h264parse = gst_element_factory_make("h264parse", "parser");\n GstElement *avdec_h264 = gst_element_factory_make("avdec_h264", "decoder");\n GstElement *autovideosink = gst_element_factory_make("autovideosink", "sink");\n\n \/\/ Pipeline zusammenbauen\n gst_bin_add_many(GST_BIN(pipeline), appsrc, h264parse, avdec_h264, autovideosink, NULL);\n gst_element_link_many(appsrc, h264parse, avdec_h264, autovideosink, NULL);\n\n \/\/ AppSrc-Element konfigurieren\n GstCaps *caps = gst_caps_new_simple("video\/x-h264",\n "width", G_TYPE_INT, 1280,\n "height", G_TYPE_INT, 720,\n "framerate", GST_TYPE_FRACTION, 30, 1,\n NULL);\n g_object_set(appsrc, "caps", caps, NULL);\n gst_caps_unref(caps);\n\n \/\/ Pipeline starten\n gst_element_set_state(pipeline, GST_STATE_PLAYING);\n\n \/\/ libcamera Stream starten\n camera->start();\n\n \/\/ Frame-Puffer aus libcamera an AppSrc weitergeben\n while (true) {\n \/\/ Hole ein Frame von libcamera\n std::shared_ptr<Buffer> buffer = camera->capture();\n\n if (buffer) {\n \/\/ Direktes Einf\u00fcgen des libcamera-Puffers in einen GStreamer-Puffer\n GstBuffer *gst_buffer = gst_buffer_new_wrapped(buffer->data(), buffer->size(), 0, buffer->size());\n\n \/\/ Setze die Timestamp des Puffers (optional, aber empfohlen)\n GST_BUFFER_PTS(gst_buffer) = gst_clock_get_time(gst_system_clock_get()) \/ 1000000; \/\/ Zeitstempel in Mikrosekunden\n\n \/\/ Puffer in AppSrc einspeisen\n appsrc_push_buffer(GTK_APP_SRC(appsrc), gst_buffer);\n }\n }\n\n \/\/ Pipeline stoppen\n gst_element_set_state(pipeline, GST_STATE_NULL);\n\n \/\/ GStreamer freigeben\n gst_object_unref(pipeline);\n cameraManager->stop();\n return 0;\n}\n\n\/\/ Funktion, um einen Puffer in AppSrc zu schieben\nvoid appsrc_push_buffer(GstAppSrc *appsrc, GstBuffer *buffer) {\n GstFlowReturn ret;\n g_signal_emit_by_name(appsrc, "push-buffer", buffer, &ret);\n if (ret != GST_FLOW_OK) {\n cerr << "Fehler beim Pushen des Puffers in AppSrc!" << endl;\n }\n}\n<\/pre><\/div>\n\n\nErkl\u00e4rung der \u00c4nderungen<\/h3>\n\n\n\n
\n
gst_buffer_new_wrapped()<\/strong><\/code>:\n\n
libcamera<\/code> in den GStreamer-Puffer zu kopieren, verwenden wir gst_buffer_new_wrapped()<\/code>, um direkt auf die Daten im Puffer von libcamera<\/code> zuzugreifen.<\/li>\n\n\n\nlibcamera<\/code> wird direkt an GStreamer \u00fcbergeben, ohne dass eine Kopie gemacht wird.<\/li>\n<\/ul>\n<\/li>\n\n\n\n\n
\n
appsrc_push_buffer()<\/code> in den GStreamer-Pipeline-Flow eingespeist, ohne dass Daten zwischen den Pufferobjekten kopiert werden.<\/li>\n<\/ul>\n<\/li>\n<\/ol>\n\n\n\nVorteile dieser Methode<\/h3>\n\n\n\n
\n
gst_buffer_new_wrapped()<\/code> kannst du die Daten von libcamera<\/code> direkt verwenden, ohne dass sie dupliziert werden.<\/li>\n<\/ul>\n\n\n\nWeitere Hinweise<\/h3>\n\n\n\n
\n
gst_clock_get_time()<\/code>, um eine Zeitstempel zu setzen. Wenn du eine pr\u00e4zisere Steuerung \u00fcber das Timing ben\u00f6tigst (z. B. f\u00fcr Video-Synchronisation), musst du das Zeitmanagement in deiner Pipeline weiter anpassen.<\/li>\n\n\n\nFazit<\/h3>\n\n\n\n
AppSrc<\/code>. Dadurch sparst du wertvolle CPU- und Speicherressourcen und erzielst eine effizientere Verarbeitung.<\/p>\n\n\n\n
\n\n\n\nDu:<\/h5>\n\n\n\n
ChatGPT:<\/h6>\n\n\n\n
libcamera<\/code> ist es m\u00f6glich, dass die Puffer, die von der Kamera geliefert werden, bereits einen Zeitstempel enthalten. Dieser Zeitstempel ist in der Regel der, der vom ISP beim Erzeugen des Bildes gesetzt wird und stellt den Zeitpunkt dar, an dem das Bild tats\u00e4chlich von der Kamera aufgenommen wurde.<\/p>\n\n\n\nAnsatz<\/h3>\n\n\n\n
\n
Buffer<\/code>-Objekte, die von libcamera<\/code> zur\u00fcckgegeben werden, sollten Zeitstempel enthalten, die die Aufnahmezeit widerspiegeln. Wenn das der Fall ist, kannst du diesen Zeitstempel verwenden.<\/li>\n\n\n\nlibcamera<\/code> direkt \u00fcbernehmen.<\/li>\n<\/ol>\n\n\n\nAnpassung des Codes<\/h3>\n\n\n\n
libcamera<\/code>-Puffer entnehmen und diesen als PTS (Presentation Time Stamp) in den GStreamer-Puffer \u00fcbernehmen.<\/p>\n\n\n\nAngepasster Code:<\/h4>\n\n\n\n
cpp<\/pre>\n\n\n
\n#include <iostream>\n#include <libcamera\/libcamera.h>\n#include <gst\/gst.h>\n#include <gst\/app\/app.h>\n\nusing namespace std;\nusing namespace libcamera;\n\n\/\/ Funktionsprototypen\nvoid appsrc_push_buffer(GstAppSrc *appsrc, GstBuffer *buffer);\n\nint main() {\n \/\/ GStreamer initialisieren\n gst_init(NULL, NULL);\n\n \/\/ libcamera-Kamera initialisieren\n CameraManager *cameraManager = CameraManager::instance();\n cameraManager->start();\n Camera *camera = cameraManager->cameras()[0]; \/\/ W\u00e4hlen Sie die erste Kamera aus\n\n \/\/ Kamera konfigurieren\n StreamConfiguration config = camera->configuration()[0];\n config.size = Size(1280, 720); \/\/ Setze die Aufl\u00f6sung\n camera->configure({config});\n\n \/\/ GStreamer-Pipeline erstellen\n GstElement *pipeline = gst_pipeline_new("pipeline");\n GstElement *appsrc = gst_element_factory_make("appsrc", "source");\n GstElement *h264parse = gst_element_factory_make("h264parse", "parser");\n GstElement *avdec_h264 = gst_element_factory_make("avdec_h264", "decoder");\n GstElement *autovideosink = gst_element_factory_make("autovideosink", "sink");\n\n \/\/ Pipeline zusammenbauen\n gst_bin_add_many(GST_BIN(pipeline), appsrc, h264parse, avdec_h264, autovideosink, NULL);\n gst_element_link_many(appsrc, h264parse, avdec_h264, autovideosink, NULL);\n\n \/\/ AppSrc-Element konfigurieren\n GstCaps *caps = gst_caps_new_simple("video\/x-h264",\n "width", G_TYPE_INT, 1280,\n "height", G_TYPE_INT, 720,\n "framerate", GST_TYPE_FRACTION, 30, 1,\n NULL);\n g_object_set(appsrc, "caps", caps, NULL);\n gst_caps_unref(caps);\n\n \/\/ Pipeline starten\n gst_element_set_state(pipeline, GST_STATE_PLAYING);\n\n \/\/ libcamera Stream starten\n camera->start();\n\n \/\/ Frame-Puffer aus libcamera an AppSrc weitergeben\n while (true) {\n \/\/ Hole ein Frame von libcamera\n std::shared_ptr<Buffer> buffer = camera->capture();\n\n if (buffer) {\n \/\/ Extrahiere den Zeitstempel des Puffers\n const struct timeval *timestamp = buffer->timestamp();\n\n \/\/ Direktes Einf\u00fcgen des libcamera-Puffers in einen GStreamer-Puffer\n GstBuffer *gst_buffer = gst_buffer_new_wrapped(buffer->data(), buffer->size(), 0, buffer->size());\n\n \/\/ Setze den Zeitstempel auf den vom ISP gelieferten Zeitstempel\n if (timestamp) {\n \/\/ Konvertiere den timeval-Zeitstempel in eine Mikrosekunden-basierte Darstellung\n guint64 pts = timestamp->tv_sec * 1000000 + timestamp->tv_usec;\n GST_BUFFER_PTS(gst_buffer) = pts; \/\/ Zeitstempel f\u00fcr GStreamer setzen\n }\n\n \/\/ Puffer in AppSrc einspeisen\n appsrc_push_buffer(GTK_APP_SRC(appsrc), gst_buffer);\n }\n }\n\n \/\/ Pipeline stoppen\n gst_element_set_state(pipeline, GST_STATE_NULL);\n\n \/\/ GStreamer freigeben\n gst_object_unref(pipeline);\n cameraManager->stop();\n return 0;\n}\n\n\/\/ Funktion, um einen Puffer in AppSrc zu schieben\nvoid appsrc_push_buffer(GstAppSrc *appsrc, GstBuffer *buffer) {\n GstFlowReturn ret;\n g_signal_emit_by_name(appsrc, "push-buffer", buffer, &ret);\n if (ret != GST_FLOW_OK) {\n cerr << "Fehler beim Pushen des Puffers in AppSrc!" << endl;\n }\n}\n<\/pre><\/div>\n\n\nWas wurde ge\u00e4ndert?<\/h3>\n\n\n\n
\n
\n
libcamera<\/code> enth\u00e4lt einen Zeitstempel, der vom ISP stammt. Dieser wird durch buffer->timestamp()<\/code> abgerufen, was ein struct timeval<\/code>-Objekt ist.<\/li>\n\n\n\ntimestamp<\/code>-Objekt enth\u00e4lt die Zeit in Sekunden (tv_sec<\/code>) und Mikrosekunden (tv_usec<\/code>).<\/li>\n<\/ul>\n<\/li>\n\n\n\n\n
struct timeval<\/code> wird in Mikrosekunden umgerechnet und als PTS (Presentation Time Stamp) f\u00fcr den GStreamer-Puffer gesetzt.<\/li>\n\n\n\npts = timestamp->tv_sec * 1000000 + timestamp->tv_usec<\/code> berechnet.<\/li>\n<\/ul>\n<\/li>\n\n\n\n\n
libcamera<\/code> direkt in einen GStreamer-Puffer \u00fcber gst_buffer_new_wrapped()<\/code> eingef\u00fcgt, ohne Kopieren der Daten.<\/li>\n<\/ul>\n<\/li>\n<\/ol>\n\n\n\nWas du noch beachten solltest:<\/h3>\n\n\n\n
\n
libcamera<\/code> verwendest, da sich die APIs \u00fcber die Zeit \u00e4ndern k\u00f6nnen.<\/li>\n<\/ul>\n\n\n\nFazit<\/h3>\n\n\n\n
\n\n\n\nDu:<\/h5>\n\n\n\n
ChatGPT:<\/h6>\n\n\n\n
1. H.264 oder H.265 (HEVC)<\/strong><\/h3>\n\n\n\n
\n
\n
\n
cpp<\/pre>\n\n\n
\nGstCaps *caps = gst_caps_new_simple("video\/x-h264",\n "width", G_TYPE_INT, 1280,\n "height", G_TYPE_INT, 720,\n "framerate", GST_TYPE_FRACTION, 30, 1,\n NULL);\ng_object_set(appsrc, "caps", caps, NULL);\ngst_caps_unref(caps);\n<\/pre><\/div>\n\n\n2. RAW Video (YUV Formate)<\/strong><\/h3>\n\n\n\n
\n
\n
\n
\n
cpp<\/pre>\n\n\n
\nGstCaps *caps = gst_caps_new_simple("video\/x-raw",\n "format", G_TYPE_STRING, "YUV420",\n "width", G_TYPE_INT, 1280,\n "height", G_TYPE_INT, 720,\n "framerate", GST_TYPE_FRACTION, 30, 1,\n NULL);\ng_object_set(appsrc, "caps", caps, NULL);\ngst_caps_unref(caps);\n<\/pre><\/div>\n\n\n3. MJPEG (Motion JPEG)<\/strong><\/h3>\n\n\n\n
\n