Ist es schwierig, eine Kamera-App zu programmieren?

[Platos]

Grundproblem: Ich habe ein Ciaomi 14 Ultra Global und ein 8x Teleobjektiv dafür. Problem: Es wackelt wie blöde, weil das Handy "denkt", ich sei gerade auf 1x Zoom. Wenn ich digital auf 8x zoomr, wackelt es nicht, weil das Handy eben auf 8x gestellt ist.

Zoome ich mit dem Objektiv noch 2x (ist notwendig), dann ist es richtig mies. Zoome ich mit dem Handy auf 20x (ohne Objektiv), komme ich in eine Art super-Stabilisator-modus. Also das Handy könnte glaube ich schon damit umgehen, wenn ich irgendwie dem Handy weiss machen könnte, wie fest es stabilisieren soll.

Ich Habe schon Blackmagic Camera probiert, aber auf Android ist die Stabilisierung leider nicht so, wie bei Apple und ich denke, auch dort wird es je nach Zoom anders reagieren.

Da ich keine App gefunden habe, bei der ich Quasi einstellen kann, welches Teleobjektiv ich nutze (also wie viel zoom), frage ich mich, ob ich es selber Vibe-Coden könnte.

Sind Kamera-Apps kompliziert zum Programmieren? Hat da jemand Ahnung ?

[Rooter]

Sind Kamera-Apps kompliziert zum Programmieren? Hat da jemand Ahnung ?Welche Programmiersprachen kannst du denn? Und kennst du dich mit der Android API aus?

MfG
Rooter

[Platos]

Welche Programmiersprachen kannst du denn? Und kennst du dich mit der Android API aus?

MfG
Rooter

Also ich meinte mittels Vibe-Coding, also mit KI. Selber habe ich keine grosse Kenntnisse. Habe mit KI mal längere Skripts geschrieben mit 20k Zeichen, aber sonst nicht.

Aber was ich auch vergessen habe: Es gibt ja etwa gefühlt hunderte OpenCamera-Klons. Darum habe ich gedacht, ich nutze das als Basis und baue da so ein feature ein.

Aber nein, ich kenne mich nicht aus mit der Andeoid API.

[BAGZZlash]

Ist es für jemanden, der nicht programmieren kann, schwierig, eine Android-App zu programmieren? Ja.

[Semmel]

Ist es für jemanden, der das Kamerasystem nicht versteht, schwierig, eine Kamera-App zu programmieren? Ja.

@Platos:
Dein Smartphone hat verschiedene Kameras und die haben alle ein Festbrennweitenobjektiv. Es gibt keinen optischen "Zoom". Das, was dir als Zoom verkauft wird, ist eine Mischung aus "digitalem Zoom" und einem Wechsel durch die verschiedenen Kamera-Objektive.
Die Objektive haben verschiedene Brennweiten mit optischen Bildstabilisierungen, die unterschiedlich gut funktionieren. Je nach "Zoomeinstellung" bist du gerade mit einer ganz anderen Kamera aktiv und so erklärt sich auch das unterschiedliche Stabilisierungsverhalten.
Der digitale "Zoom" entsteht übrigens, indem nur ein kleinerer Bildausschnitt des Sensors genutzt wird. Dadurch opfert man massiv Bildqualität. Vorteil daran ist jedoch, dass dies eine stärkere digitale Stabilisierung ermöglicht.

Und dadurch ist es eben so, wie es ist.

[Platos]

Nein, es ist keine Mischung, ich rede von richtigen Objektiven, die ich vor den Hauptsensor drauf schraube (steht da ja auch 8x Teleobjektiv 200mm Brennweite). Und ja, zoom ist es nicht, das ist hald Umgangssprachlich. Es ist eine feste Optik, die nicht wie ein Zoomobjektiv verstellbar ist.

Meine Frage war eher, ob es machbar ist und vorauf man achten müsste. Ich dachte, das sei aus dem Text erkennbar, aber vlt. lesen manche hier nur die Überschrift.

[Gohan]

Nein, du verstehst das Problem nicht :) Wenn du das Handy auf 8x stellst, hast du einen "digitalen" Zoom. Das heißt es wird dir ein Bildausschnitt angezeigt. Die Kamera-App kann daher stabilisieren, weil das eigentliche Bild größer ist.

Wenn du jetzt eine Linse davor schraubst mit 8-fach optischem Zoom, hat die App diese Reserve nicht, da dir das ganze Bild angezeigt wird. Daher kann auch nichts stabilisiert werden.

[Platos]

Nein, du verstehst das Problem nicht ;)

Ich stelle am Handy gar nichts auf 8x, wenn ich das Objektiv nutze. Genau das ist das Problem, das ich nicht manuell die Stabilisierung einstellen kann.

Einfach mal den Text genau lesen. Ich unterscheide klar zwischen dem Szenario "optischer zoom 8x mit Teleobjektiv" und nur 8x digitaler zoom. Im einen Fall stabilisert es gut, weil im Handy 8x eingestellt ist und im anderen Fall ist eben 1x im Handy eingestellt und mittels Objektiv ist es faktisch wie 8x.

Aber entweder Hilft ihr, oder ihr lässt es bleiben. Nur seinen eigenen Senf dazu geben, brauche ich echt nicht.

[Gohan]

Ach Mensch :rolleyes: Wenn das Handy auf 8x steht, wird dir von dem 1x Bild ein Ausschnitt angezeigt, der so aussieht, als wäre es 8-fach gezoomt. Das Bild drum herum wird als reserve für die Stabilisierung genutzt.

Haust du das Objektiv davor, siehst du keinen Ausschnitt mehr, sondern das Bild ist jetzt tatsächlich optisch und nicht digital gezoomt. Daher hat das Handy auch keine reserve zum stabilisieren und es wackelt eben, wie es das bei einem optischem Zoom eben tut.

Wenn es keine Pixel-Reserve gibt, kann man Softwaretechnisch nichts stabilisieren. Punkt. Bzw. doch, aber das hätte zu folge, das man immer wieder an den Bildrand stößt und außen herum nur schwarz sieht.

Jetzt habe ich mich tatsächlich dazu hinreißen lassen, ein Bild dazu zu malen...

[Asaraki]

Das ist grundsätzlich eine sehr coole Sache zum coden, aber nicht ganz ohne. Ich würde deine Eingangsfrage eigentlich mit Ja beantworten :D Aber wenn du Spass daran hast, go for it! Ich würde aber nicht damit rechnen, dass es am Ende funktioniert.

Und du solltest dich zuerst mit den Basics rund um Optiken, Sensoren etc auseinandersetzen, das hilft um überhaupt zu verstehen was du eigentlich coden willst. Und Gohan hat schon recht, gerade wenn's um Fotografie geht würde ich ihm nicht zu oft widersprechen :D

Hier hast du mal ein relativ simples Beispiel wie DIS funktioniert mit statischem Material. Das Prinzip ist aber immer identisch. Es gibt verschiedene Ansätze um den Ankerpunkt für die Stabilisation zu bestimmen. Wenn du das mal verstanden hast ist der Code anschliessend mit ein bisschen Recherche vermutlich keine riesige Sache. Hier ist das Konzept deutlich schwerer zu verstehen als den resultierenden Code.

https://www.mathworks.com/help/vision/ug/video-stabilization-using-point-feature-matching.html

(Ob Video oder Foto ist völlig egal, auch eine digitale Kamera hat im Prinzip einfach einen Video-Inputstream)

Starthilfe : Du musst also aus deinem 8x Zoom einen Ausschnitt wählen, der genügend stabilisierbar ist. Das ist dann eine digitale Zoomstufe, z.b 16x. Den 8x Ausschnitt kannst du wie Gohan erklärt hat eben gar nicht digital stabilisieren

[Sweepi]

Ach Mensch :rolleyes: Wenn das Handy auf 8x steht, wird dir von dem 1x Bild ein Ausschnitt angezeigt, der so aussieht, als wäre es 8-fach gezoomt. Das Bild drum herum wird als reserve für die Stabilisierung genutzt.

Haust du das Objektiv davor, siehst du keinen Ausschnitt mehr, sondern das Bild ist jetzt tatsächlich optisch und nicht digital gezoomt. Daher hat das Handy auch keine reserve zum stabilisieren und es wackelt eben, wie es das bei einem optischem Zoom eben tut.


D.h. er sollte mal versuchen, 4x digital zu zoomen + Objectiv, und/oder ein Stativ verwenden?

Fairerweise: es gibt ja durchaus "aktive" Stabilisierung, d.h. der Sensor ist nicht fest montiert, sondern hängt in einer Konstruktion aus Federn+Elektromagneten(?), welche versuchen, zumindest kleine Ruckler auszugleichen oder (bei Video) zu smoothen.
Allerdings wird der Großteil der Stabilisierung schon von der "Sensorreserve" kommen.

[dreas]

Ja.

[Platos]

Edit:

ChatGPT sagt folgendes:
Wenn du digital zoomst, croppst du selbst manuell in den Sensor hinein — du nimmst der EIS-Software also diesen Puffer weg, anstatt ihn zu vergrößern.
Das bedeutet:

Digitalzoom und EIS sind Konkurrenten um dieselbe Sensorreserve.

→ Wenn du z. B. 2× digital zoomst, bleibt keine zusätzliche Reserve übrig.
→ Deshalb wird bei starkem Digitalzoom die EIS-Stabilisierung automatisch schwächer oder deaktiviert.

Stimmt das, oder ist das Müll? Weil das wäre jetzt konträr zu dem, was ihr sagt (oder ich Verstanden habe, dass ihr sagt).

Leider sagt ChatGPT auch das:

In einer offenen Softwareumgebung (z. B. bei Eigenbau-Apps oder Custom ROMs) kann man den Crop künstlich vergrößern, z. B.:

Sensoraufnahme mit 4 K (3840 × 2160),

Darstellung nur 2.7 K (2880 × 1620).

Dann kann die Software bei gleicher Ausgabevergrößerung deutlich stärker nachführen – also effektiv „mehr stabilisieren“.
Das ist exakt das, was du mit „Stabilisierungsstärke erhöhen“ meinst.

Aber:
Das funktioniert nur, wenn die App Zugriff auf:

den kompletten Rohsensor-Stream (ohne automatische Crops des Treibers)

und die EIS-Parameter der Kamera-API (z. B. android.control.videoStabilizationMode, android.scaler.cropRegion)
hat.

Diese beiden Dinge werden bei Xiaomi durch die geschlossene Kamera-HAL (Hardware Abstraction Layer) kontrolliert und nicht an Dritt-Apps weitergegeben.

Also kurz: Selbst wenn ich programmieren könnte, kann ich es vergessen? Oder labert ChatGPT auch hier müll?

Ach Mensch :rolleyes: Wenn das Handy auf 8x steht, wird dir von dem 1x Bild ein Ausschnitt angezeigt, der so aussieht, als wäre es 8-fach gezoomt. Das Bild drum herum wird als reserve für die Stabilisierung genutzt.

Haust du das Objektiv davor, siehst du keinen Ausschnitt mehr, sondern das Bild ist jetzt tatsächlich optisch und nicht digital gezoomt. Daher hat das Handy auch keine reserve zum stabilisieren und es wackelt eben, wie es das bei einem optischem Zoom eben tut.

Wenn es keine Pixel-Reserve gibt, kann man Softwaretechnisch nichts stabilisieren. Punkt. Bzw. doch, aber das hätte zu folge, das man immer wieder an den Bildrand stößt und außen herum nur schwarz sieht.

Jetzt habe ich mich tatsächlich dazu hinreißen lassen, ein Bild dazu zu malen...

Ok, danke für die Geduld, da muss ich mich Entschuldigen. Da habe ich dich falsch verstanden vorhin, sorry, aber das wusste ich nicht! Das ist aber eig. kein Problem, ich kann ja einfach (z.B) 1.2-1.5x digitalen Zoom immer oben drauf hauen. Weil das Zittern ist jetzt (bei meiner Hand) nicht so, dass ich extreme Wege zurücklege (also viel Distanz auf dem Sensor quasi). Es ist eig. eher feines Gezittere, ich nenne es mal Mikrozittern. Dabei wird es dann (nebenbei) auch schwierig, dass das Bild scharf wird.

Auf meinem Hauptsensor kann ich locker 1.5x digital zoomen und 2x bringt auch noch gute Bilder. Ich nutze z.B "schon" 2x digitalen Zoom mit diesem 8x 200mm Teleobjektiv (also 16x am Ende).

Aber anyway: Ist es denn möglich, bei gleichem Digitalen Zoom (z.B 2x) unterschiedlich stark zu stabiliseren? Weil wenn das nicht geht, bringts ja nicht, da was selber zu programmieren.

Und Frage: Wie siehts denn mit Gyro-Stabilisierung aus? Das gibts glaube ich bei manchen Handys. Also den Begriff habe ich bei der Blackmagic-App für Apple/IOS gelesen, da kann man das einstellen anscheinend. Wie finde ich heraus, ob das xiaomi 14 ultra das kann? Lage-Sensoren hat ja im Grunde jedes Handy.

Und Nebenfrage: Nützt ein Gimbal für (solche) Teleobjektive (wie 8x) etwas? Oder ist das zu viel für die ?

Das ist grundsätzlich eine sehr coole Sache zum coden, aber nicht ganz ohne. Ich würde deine Eingangsfrage eigentlich mit Ja beantworten :D Aber wenn du Spass daran hast, go for it! Ich würde aber nicht damit rechnen, dass es am Ende funktioniert.

Und du solltest dich zuerst mit den Basics rund um Optiken, Sensoren etc auseinandersetzen, das hilft um überhaupt zu verstehen was du eigentlich coden willst. Und Gohan hat schon recht, gerade wenn's um Fotografie geht würde ich ihm nicht zu oft widersprechen :D

Hier hast du mal ein relativ simples Beispiel wie DIS funktioniert mit statischem Material. Das Prinzip ist aber immer identisch. Es gibt verschiedene Ansätze um den Ankerpunkt für die Stabilisation zu bestimmen. Wenn du das mal verstanden hast ist der Code anschliessend mit ein bisschen Recherche vermutlich keine riesige Sache. Hier ist das Konzept deutlich schwerer zu verstehen als den resultierenden Code.

https://www.mathworks.com/help/vision/ug/video-stabilization-using-point-feature-matching.html

(Ob Video oder Foto ist völlig egal, auch eine digitale Kamera hat im Prinzip einfach einen Video-Inputstream)

Starthilfe : Du musst also aus deinem 8x Zoom einen Ausschnitt wählen, der genügend stabilisierbar ist. Das ist dann eine digitale Zoomstufe, z.b 16x. Den 8x Ausschnitt kannst du wie Gohan erklärt hat eben gar nicht digital stabilisieren

Hmm, aber das hört sich für mich nach Stabilisierung eines Videos an und nicht Live-Stabilisierung quasi. Oder ist das im Grunde das Gleiche?

Aber für's Verständnis: Diese Webseite zeigt ja, wie man Stabilisierung an sich programmiert, aber wie ergibt sich denn die "Intensität" des Stabilisierens? Das ist doch nicht einzig und allein durch den digitalen Zoom bestimmt? Also kann ich überhaupt bei gleichem digitalem Zoom (z.B 2x) unterschiedlich stark stabilisieren? Weil wenn das nicht geht, dann hat es gar keinen Sinn, da was selber zu programmieren.

[Edit: Also ich habs jetzt mal mit 4x Digitalem Zoom ausprobiert: Die Bewegungen, die ich beim Zittern mache, sind eig. von der räumlichen Distanz her minimal. Also das ist nur ein winziger Bruchteil dessen, was ich noch an "Reserve" hätte durch den Digitalen Zoom (ich sehe ja, wie viel vom Bild "weggezoomt" wurde und dass meine Bewegung niemals ausserhalb des Sensors gelegen kommen). Trotzdem ist die Stabilisierung nicht gut genug. Also da muss doch noch Luft nach oben sein oder?]

Und vlt. sollte ich da auch mal die Frage in den Raum werfen, wie denn Leute mit "richtigen" Kameras und Teleobjektiven mit hoher Brennweite die Stabiliserung hinkriegen. Also ich meine für Videos, wo man die Kamera auch mal bewegen muss, um dem Objekt zu folgen, also wo ein Stativ eher nicht so geil ist. Nutzen die alle Gimbals?

Edit 2: Also nochmals als erwähnung: Die idee wäre, dass ich Open Camera als Basis nehme, ich würde ja nicht eine ganze App komplett selber programmieren, "nur" das mit der Stabilisationsfunktion.

[Gohan]

Je stärker der digitale Zoom ist, also je kleiner der Ausschnitt auf dem Sensor der angezeigt wird, desto besser kann man stabilisieren. Das macht man heute nicht mehr nur über optische Marker, sondern lässt auch noch Informationen von den im Handy eigentlich immer vorhandenen Lage- und Beschleunigungssensoren (oder auch Gyroskopen) mit einfließen. Mit den Infos verschiebt man dann einfach den Ausschnitt der Angezeigt wird. Dahinter steckt dann ein Software-Algorithmus der erkennt, ob die Kamera einfach nur wackelt oder tatsächlich auf ein anderes Objekt geschwenkt wird.

Je größer der optische Zoom ist, desto schwieriger wird das ganze, da jede kleine Bewegung groß Auswirkung hat (diese Auswirkung nimmt mit dem Zoom-Level zu).

D.h. selbst wenn man optischen und digitalen Zoom kombiniert, wird das Ergebnis nicht so gut sein, als wenn man nur rein digital Zoomt, da einfach jede Bewegung durch den optischen Zoom eine größerer Auswirkung hat.

Das von dir beobachte Wackeln kann aber auch noch eine andere Ursache haben, nämlich das das Objektiv wackelt und nicht fest (genug) aufliegt. Ich habe mir das Handy mal grad' bei google angeschaut, bin aber auf die Schnelle nicht schlau geworden, wie man da vernünftig ein Objektiv montiert bekommt.

Apple hat, wenn ich mich nicht täusche, auch eine optische Stabilisierung (allerdings nicht für alle Linsen), die mit Daten des Gyroskops arbeitet und die Linse entsprechend verschiebt / steuert.

Tatsächlich haben 3 deiner 4 Kameras auch eine optische Stabilisierung (laut Wikipedia):

50 MP 1-inch Sony LYT-900 wide-angle lens with an adjustable aperture ranging from f/1.6 to f/4.0, multi-directional phase detection autofocus, laser autofocus, and optical image stabilization;
50 MP Sony IMX858 telephoto lens with an f/1.8 aperture, 3.2x optical zoom, phase detection dual pixel autofocus, and optical image stabilization;
50 MP Sony IMX858 periscope telephoto lens with an f/2.5 aperture, 5x optical zoom, phase detection dual pixel autofocus, and optical image stabilization;
50 MP Sony IMX858 ultrawide-angle lens with an f/1.8 aperture, a 123° field of view, and phase detection dual pixel autofocus.

Aber die optische Stabilisierung muss den optischen Zoom-Faktor kennen um korrekt zu funktionieren, da dieser mit in die Berechnung der Gegenbewegung einfließt.
Und ich denke mal ganz stark, da das alles so integriert ist, dass diese Stabilisierung nur bis zum Zoom-Faktor der verbauten Linse funktioniert und nicht darüber hinaus.

Und ja, Gimbals bringen einiges. Aber z.B. bei Apple wird bei Videos, wenn man die Stabilisierung aktiviert, automatisch ein klein wenig digital gezoomt um eine digitale Stabilisierung des Videos zu ermöglichen.

[Relex]

Apple hat auf der Hauptkamera eine Sensor-Shift Stabilisierung und auf der Tele Linse noch eine 3D Sensor-Shift Stabilisierung. (Sensor Shift haben nur wenige Hersteller. Ist halt beides nochmal besser als eine Linsenverschiebung). Der LIDAR Sensor+FokusPixel hilft dann natürlich auch noch beim erkennen von Objekten. Ist dann zwar nicht für die Stabilisierung aber für die nachträgliche Verrechnung von mehreren Aufnahmen hilfreich.

Dazu bei Video auch immer zusätzlich eine Softwarestabilisierung. Aber das tut ja wenig zu Sache. Ich bezweifle auch, dass man darauf als App Entwickler zugriff hat abseits von an/aus. Selbst bei Apple geht das meines wissens nicht.


Ich vermute mal, dass das Problem bei Android ist, dass man eine Kamera API des Herstellers braucht. Jeder Hersteller hat ja seine eigene Kamera und Bildsignalverarbeitung und dementsprechend müssen sie auch eine API für Entwickler anbieten (optional) wenn man vollzugriff auf alle Kamerafähigkeiten haben möchte.

Es gibt natürlich ne Standardschnittstelle in Android über die drittanbieter Apps das Kamerabild bekommen, welche der Hersteller natürlich auch bedienen muss. Die Einstellmöglichkeiten sind darüber aber stark begrenzt, da sie ja für jeden Hersteller funktionieren müssen.
Deswegen ist ein Foto über drittanbieter Apps geschossen wie z.B. Instagram auf Android oft auch schlechter als wenn man es direkt mit der Kamera App des Herstellers aufnimmt.

Muss aber dazu sagen, dass das was ich hier sage auf Wissen von vor 5 Jahren basiert, als ich mein letztes Android gerät gekauft habe. Daher mit Vorsicht zu genießen. Ich vermute mal dass sich da in den letzten paar Jahren nichts grundegendes geändert hat, kann mich aber natürlich auch täuschen. Da bin ich nicht up to date.


Jedenfalls, um das sauber zu programmieren müsste meines Wissens der Hersteller über seine APIs zugriff auf die benötigen Kamerafunktionen gewähren und dann müsstest du auf basis der API Doku eine App entwickeln, die dann natürlich auf Basis der Möglichkeiten die dir über die API offen steht, das macht, was du willst.

Die Frage wäre dann halt, ob man Zugriff auf die Bildstabilisierung bekommt. Ob man sie deaktivieren oder in irgend einer Form beeinflussen kann.



Ich fürchte, solange solche grundlegenden Fragen (was kann ich auf meinem Gerät über eine Drittanbieter App überhaupt erreichen) nicht geklärt sind, brauchst du noch nichtmal einen Gedanken an Vibe Coding verschwenden.

[Platos]

@ Gohan:

Also ich habe das sogenannte "photography-Kit" von Xiaomi und dazu von Aliexpress eine Art Scheibe (aus Alu) mit 17mm Gewinden direkt über den jeweiligen Kameras. (siehe hier: https://de.aliexpress.com/p/video/detail.html?itemId=1100227046510)

Das Objektiv sitzt da Bombenfest drauf.

Bezüglich OIS: Ich habe auch so das gefühl, dass das mit nem Teleobjektiv nicht richtig funktioniert. Mit Balckmagic (android) kann ich da auch explizit "optisch" auswählen bei der Stabilisierung, aber der Unterschied muss man fast akademisch bestimmen, wenn ich dieses 8x Teleobjektiv nutze.

Dass ich Bild verliere beim digitalen Stabilisieren (wie bei digitalem zoom), ist mir egal, aber wenn das ganze so komplex ist, weiss ich nicht, ob das überhaupt machbar ist als Einzelperson (selbst für jemanden, der selber gut programmieren kann). Wenn ich das richtig verstanden habe, müsste man eigentlich quasi einen eigenen Algorhithmus programmieren, der nicht nur simple digital stabilisiert (also das mit der Reserve) und hier wirds ja dann maximal komplex, vor allem, wenn die Camera-API gar nicht öffentlich ist (ausser die von android. Open-Camera nutzt ja auch so ne Standart-API).

Ich habe allerdings bei der Suche schon Kamera-Apps gefunden, bei denen man digitale Stabilisierung einstellen konnte und es hat dann das Bild gecroopt, aber es hat nicht wirklich eine relevante Verbesserung gegeben (evtl. wäre es dann relevant, wenn ich zusätzlich einen Gimbal nutzen würde).

Also Frage: Stabilisierung ohne Einbezug von Gyrodaten und co wäre vermutlich sehr, sehr schlecht bzw. würde nicht stark stabilisieren, oder sehe ich das falsch?

Vlt. sollte ich dann die Frage umwandeln in eine Gimbal-Frage:

Wenn jetzt mein Handy 280g wiegt und mein Objektiv 160g und 11cm lang ist (Hebelwirkung), dann fallen eig. alle Handy-Gimabls bis auf den hohem isteady m7 weg. Was hällst du von diesem bzw. allg. handy-Gimbals ?

@Relex: Ja, vlt. konzentriere ich mich zuerst auf einen Gimbal und schaue dann, wie viel es noch braucht, bevor ich da sowas probiere.

[Platos]

Edit: Ich habe jetzt mal ein Thread aufgemacht im Fotothread für den Gimbal. Das ist dort glaube ich besser platziert.