Liebes Forum,

es gibt wieder eine neue www.PICOLAY.de-Version :) Diesmal habe ich den Stacking-Algorithmus erheblich vereinfacht und auch beschleunigt. Kurz und simplifiziert erklärt: Die Bilder werden nicht mehr schrittweise verkleinert und mit demselben Filter analysiert, sondern in der Originalgröße zunehmend geglättet und mit einem immer größer skaliertem Gauß-Filter (5x5) analysiert (Konvolution). Die dabei anfallenden Daten werden (ebenso wie die Originalbilder) in Bitmaps abgelegt. Weil es sich um ein grundlegend neues Verfahren handelt, wollte ich die Daten einmal sichtbar machen, und nicht nur verrechnen. Das ist nun so hübsch geworden, dass ich es hier gern teile.

Zunächst das (vielen hier vielleicht schon bekannte) Stapelbild einer Diatomee (Actinoptychus):



Wie es zustande kommt, kann man in einem Video hier ansehen: http://www.picolay.de/forum/picolay-abc.mp4

Hier die Tiefenkarte dazu:



Gelb heißt hier oben, Grün Mitte und Blau unten. Wer Karte und Stapelbild herunterlädt, kann daraus mit PICOLAY die im Video gezeigte Animation erzeugen :).

Nun die (normalerweise für die Anwender unsichtbaren) Ergebnisse der Konvolution als farbige Isoplethen, fein, mittel, grob:







Das hat nichts mit der Tiefenkarte zu tun, sondern ist die Strukturanalyse des obigen Stapelbilds. Die darin enthaltenen Daten werden zur Erstellung einer kombinierten Strukturkarte verwendet:



Die R/G/B-Werte dieser Karte entsprechen den Scores der Filter Grob/Mittel/Fein. Schwarz heißt demnach keine Struktur, Weiß starke Struktur auf allen Größenskalen erkannt. Blau sind Feinstrukturen, z.B. das hot Pixel oben bei 1 Uhr, rot = grobe Strukturen, gelb = mittel bis grob, blaugrün = fein bis mittelfein usw.

Ich denke, das zeigt, wie schön Mathematik manchmal aussehen kann.

Viel Spaß beim Ansehen!

Heribert Cypionka

P.S: Auf der PICOLAY-Homepage www.picolay.de gibt es jetzt ein Link zu einem Album auf flickr, das beeindruckende 2D-PICOLAY-Bilder der Fotografen aus aller Welt zeigt :)

Hallo Heribert,

sehr interessant!
Ich werde mal versuchen, mich da rein zudenken und auch die neue Version testen.
Ich habe ja in der Vergangenheit einiges mit Picolay gemacht, speziell Stereobilder. Da kann ich gut vergleichen.

Viele Grüße

Michael

Hallo Heribert,
ist Picolay kostenlos?

PICOLAY ist kostenlos, werbe- und virenfrei, aber ganz sicher nicht umsonst, sondern immer einen Versuch wert

hallo
eigentlich würde ich schon fragen wie denn die stackverfahren bzw die strukturerkennung vorher waren , aber das ist ziemlich nähkästchen nehme ich an . ist das schon irgendwo niedergeschrieben ? es interessiert mich rein theoretisch . man sieht wie die auflösung mit dem abstand vom deckglas abnimmt .
gruß carypt

Hallo carypt,

Nähkästchen ist zu klein - das ist ein 12-Fuß-Container Von dem Algorithmus habe ich mehr als 1000 Variationen ausprobiert (alles dokumentiert!). Es geht um Kantenerkennung, Peak-Erkennung, Filtergröße und Konvolutionsart, Grauskala oder Farbe, Verkleinerung, Entfernung von Artefakten, Rauschreduktion, Bevorzugung von höheren oder tieferliegenden Schichten etc. Den großen Unterschied zu vorher habe ich ja schon oben erklärt. Bisher wurden die Bilder stufenweise verkleinert und mit dem (mehr oder weniger) gleichen Filter analysiert. Die Ergebnisse müssen dann natürlich hochskaliert werden, wobei die Ränder sich vergrößern. Kleine Bilder lassen sich natürlich schneller analysieren. Aber das Skalieren verbraucht auch Rechenzeit...

Ich beschreibe mal den aktuellen workflow beim Stacking durch PICOLAY.

- Bilder um Faktor 2 verkleinern (nur falls sehr groß)
- in Graustufen umwandeln mit Wichtung G>R>B => Alle Berechnungen können mit 8 Bit (integer) laufen, 3x weniger Pixel
- Mit Gaußfilter (5x5) glätten.
- Aus dem Unterschied geglättetes zu Originalbild ergibt sich die Strukturausprägung. die wird als Score in die Strukturkarte (feines Filter) eingetragen.
- Die Schritte 2 und 3 werden mit den geglätteten Zwischenbildern zweimal wiederholt, wobei der 5x5-Filter hochskaliert wird (3x und 8x) => mittleres und grobes Filter.
- Bei all den Schritten wird, falls gewünscht (Prefer high or low frames) eine Wichtung abhängig von der Position im Bilderstapel vorgenommen. Dann ist die Strukturkarte eines Bildes fertig.
- Um Anteile des aktuellen Bildes in das Endergebnis einzufügen, sind nun Vergleiche mit der bisherigen Gesamtstrukturkarte vorzunehmen. Dabei ist zu berücksichtigen, welche Filternutzung (smart, oder fix 1...10) eingestellt wurden. Das geht aber nach dem einmaligen Einlesen aller Bilder blitzschnell, da intern drei verschiedene Gesamtstrukturkarten und Stapelbilder angelegt werden, die nach Bedarf gemischt werden. Auch die Rauschreduktion lässt sich so in Sekundenschnelle machen...

Soviel erst mal für heute. Viel Spaß beim Nachprogrammieren

Heribert Cypionka

P.S. Hier ein Artikel von 2009. Da sah der Algorithmus noch deutlich anders aus. Koestner et al. 2009

hallo Heribert ,
vielen dank für die ausführliche antwort , zu kommentieren fällt mir nichts ein , und programmieren hihi wird wohl nicht passieren , bleibt ein danke sagen . :)
die methode scheint weniger kompliziert geworden zu sein und eben auch farbneutral. einschätzen kann ich es nicht .

die 2009 methode lautete :

" 2.1 Local contrast based image fusion

Algorithms in object space are normally categorized into two different classes of methods: the point-based methods, where pixels with the same x,y-coordinates are compared with each other along the z-axis to be selected upon a maximum or minimum selection rule [10, 11] and neighborhood-based methods, where the neighborhood of each pixel is taken into account to identify in-focus areas [12,13]. Picolay [8] intuitively combines both approaches and implements an edge detection procedure, for identifying sharp areas, that can be summarized as follows.

Although not important for IRM in the first step the RGB values are combined to a weighted greyvalue with the ratios: red 30%, green 59% and blue 11%, to respect the spectral sensitivity of the human eye. In the next step for each pixel m the micro-contrast (MC) is evaluated, which is the summed variance to the next neighbors, forming horizontal, vertical and diagonal pairs, which can be written as : MC = Σi ((ni,l - ni,r) – m × 2)

Where ni,l and ni,r denote the left and right next neighbors of m as well as up and down for the vertical pair of neighbors. In the next step the contrast map, C, is calculated. Based on the micro-contrast values of the neighboring pixels it is calculated as a weighted sum over the neighboring MC values: C = µ × 32 + Σαi × 2 + Σβi × 2

Integers are used as weighting factors to improve processing speed. For better understanding the procedure for calculating micro-contrast and contrast, the involved matrices are visualized again in Figure 3, respectively.

Having calculated the contrast map in each layer a threshold can be applied. Pixels above this threshold are compared along the z-axis. The pixel with the maximum contrast is allocated for the fused extended depth of focus image.

Picolay has proven to be a fast and efficient edge detection algorithm, however difficulties arise when it had to deal with larger in-focus areas, due to lack of contrast. Resizing the various matrices for micro-contrast and contrast reduces artefacts, however at the cost of resolution. A more elegant solution to overcome this problem, without loosing resolution, is to downscale the image in a first iteration. The contrast map is expanded again after processing and compared with the result of the normal-sized image. In case the difference in contrast is higher than a threshold, the pixel value from the downscaled image is allocated.

For comparison a color based stacking algorithm is implemented which can be categorized as a point-like method. In this approach it is looked for the pixel closest to the target color at a given x,y coordinate. This algorithm works well with images of high contrast, as in the ideal case the filaments appear as black on a white background. Therefore it is probably the fastest approach possible and is especially suitable for high resolution images. " bildtext heraus genommen .