Die Zielsetzung bei diesem Teilprojekt besteht darin, eine Programmerweiterung (z.B. Plug-In oder Photoshop-Action) zu erzeugen, das aus meinen abstrakten, nicht geometrischen Bildern horizontale, d.h. zylindrische Panoramabilder generieren kann, wobei aus einem Bild durch unterschiedliche Auswahlmöglichkeiten unterschiedliche Panoramen erzeugbar werden. Die Bilder können mit sehr hohen Auflösungen gerendert werden (im Prinzip beliebig gross), sodass extrem breitformatige, horizontale Panoramen mit einer Auflösung erzeugt werden, die für physikalische Präsentationen, d.h. den Ausdruck, sowie für die Präsentation in Viewern geeignet sein sollen. Als Motiv-Beispiel soll das nachfolgende Bild dienen.
Abbildung 1) Motiv-Beispiel
Eingeleitet soll das Verfahren durch die Definition eines geschlossenen Pfades auf einer Ebene über einer Darstellung des betreffenden Motivs durch ein Tool wie dem Lasso-Werkzeug in Photoshop.Betrachtet werden soll ausschliesslich ein überschneidungsfreier Pfad, der durch einen ungeglätteten Linienzug als weisse Linie in Abbildung 2) angedeutet wird.
Abbildung 2) Erzeugung eines geschlossenen Pfades
Ausgehend von dem Pfad soll eine Region des Bildes spezifiziert werden, die als Panorama interpretiert werden soll. Dies soll dargestellt werden als Kragen um den geschlossenen Pfad (siehe Abbildung 3)), wobei die Hauptaufgabe darin besteht, diese Region zu spezifizieren und in eine rechteckige, breitformatige Panoramadarstellung umzuwandeln.
Abbildung 3) Erzeugung eines Kragens um den geschlossenen Pfad
Bei der Definition eines Kragens zeigt sich das Problem, dass bei einer ungünstigen Auswahl der Kragenbreite die Bildgrenzen überschritten werden können (siehe rechter Rand in Abbildung 3)).
Eine Möglichkeit eine solche Region bezogen auf einen Pfad auszuwählen, wäre die pixelweise Verfolgung des Pfades, wobei unterschiedliche Selektionsmechanismen denkbar sind.Bei diesem Verfahren wird zunächst die Höhe des Panoramas festgelegt, und die weitere Erzeugung kann ohne weitere Interaktionen durch Verfolgung von Pfaden durchgeführt werden.Unterschieden werden kann zwischen der Verfolgung ausserhalb (siehe Abbildung 4)) bzw. innerhalb des Pfades (siehe Abbildung 5)).
Nachdem der erste, durch den Nutzer festgelegte Pfad verfolgt wurde, und somit bei der äusseren Verfolgung des Pfades die unterste Zeile des Panoramas feststeht (siehe Abbildung 4), wird der Pfad, der sich durch die Verfolgung des ersten Pfades ergeben hat, als Ausgangspunkt für die zweite Iteration verwendet. Somit wird ein sehr breitformatiges Bild aufgebaut, das als Panorama interpretiert werden kann, da es auf der Basis eines geschlossenen Pfades erzeugt wurde.
Abbildung 4) Pixelweise Verfolgung des Pfades (aussen)
Abbildung 5) Pixelweise Verfolgung des Pfades (innen)
Denkbar ist natürlich auch eine Kombination beider Arten der Verfolgung eines Pfades, sodass der selektierte Pfad durch den Nutzer die Mitte des Panoramas darstellt, von dem aus nach oben wie nach unten Zeilen eingefügt werden.
Abbildung 6) Kombinierte innere und äussere Verfolgung (mittlere Verfolgung) eines Pfades
Bei der äusseren Verfolgung eines Pfades wird das Panoramabild von unten nach oben aufgebaut, während bei einer inneren Verfolgung der Aufbau von oben nach unten erfolgt. Bei der äusseren Verfolgung kann das bereits angesprochene Problem eintreten, dass die äussere Grenze einer Vorlage überschritten wird, was von der Höhe des Panoramas abhängt.Für diesen Fall muss eine Ausnahmebehandlung eingeführt werden, indem z.B. das letzte Pixel des Bildes dubliziert wird, oder indem ein weisser Hintergrund unterstellt wird. Diese Ausnahmebehandlung muss jedoch weiter spezifiziert werden, da ein lokales Selektionsverfahren notwendig wird, um entlang des Pfades wieder in das Bild zu gelangen. Werden z.B. weisse Stellen innerhalb des Panoramas durch eine entsprechende Ausnahmebehandlung erzeugt, so sollte der Nutzer darauf aufmerksam gemacht werden, damit er durch Postprocessing-Operationen diese Stellen verändern kann. Beispielsweise durch eine Clone-Funktion kann eine solche Stelle nachbearbeitet werden. Damit verändert sich zwar die Zielsetzung eines automatischen Verfahrens, doch die Forderung nach einem konsistenten Panoramabild soll hier Vorrang besitzen. Weiter unten wird im Zusammenhang mit der Festlegung der Panoramabreite vorgeschlagen, die Pfadverfolgungen zunächst ohne das Kopieren der selektierten Pixel durchzuführen, was auch dazu verwendet werden kann festzustellen, ob der Pfad einer fortgeschrittenen Iteration aus dem Ursprungsbild führt. Ist dies der Fall, so kann eine entsprechende Meldung in Verbindung mit der Panoramahöhe ausgegeben werden, bei der die erste Überschreitung erfolgt. Der Anwender kann dann entscheiden, ob ein Panorama mit einer oder mehreren Leerstellen erzeugt werden soll, ob ein Panorama mit einer verringerten Höhe erzeugt wird, das keine Leerstellen besitzt, oder ob ein anderer Pfad verwendet werden soll. Bei einer weiterführenden Implementierung könnten die Pfadteile z.B. eines geschlossenen Linienzuges angezeigt werden, die eine Überschreitung des Ursprungsbildes bei der gewählten Panoramahöhe verursachen, verbunden mit der Möglichkeit diese Pfadteile an seinen Angriffspunkten zu verändern bzw. den gesamten Pfad zu verschieben, zu skalieren, zu drehen, usw.
Bei er inneren Verfolgung tritt bei einer zu grossen Panoramahöhe das Problem ein, dass der geschlossene Pfad sich auf eine Linie reduziert, sodass Innen und Aussen nicht mehr definiert sind, und der Pixel-Selektionsmechanismus nicht mehr anwendbar wird. Dies wäre ein vorzeitiger Abbruchgrund, wobei die bis dahin selektierten Zeilen dargestellt werden. Denkbar wäre jedoch auch eine Sonderbehandlung, bei der von einer inneren Verfolgung auf eine äussere Verfolgung umgeschaltet wird, wobei die Linie als Spezialfall eines geschlossenen Pfades verwendet wird.
Das prinzipielle Problem eines Pfades, der iterativ neu gebildet wird, besteht darin, dass die einzelnen Pfade nicht gleich lang sind und somit die Zeilen des Panoramas eine unterschiedliche Anzahl von Pixel enthalten, was durch ein pixelorientiertes Programm, das auf rechteckigen Bildern aufbaut, direkt nicht handhabbar ist. Bei einer äusseren Verfolgung erhöht sich die Anzahl der Pixel tendenziell, während bei einer inneren Verfolgung die Anzahl tendenziell kleiner wird.
Eine Möglichkeit dies zu handhaben, ist die virtuelle Durchführung der Verfolgung iterativer Pfade, nachdem der Initialisierungspfad und die Panoramahöhe angegeben wurde, wobei das Maximum der Pfadlänge ermittelt wird, das als Breite des Panoramas verwendet wird. Nachdem ein rechteckiges "leeres" Bild mit definierter Höhe und Breite auf diese Weise erzeugt wurde, wird das Verfahren nochmals angewendet, wobei diesmal Pixel des Ursprungbildes in das neue Bild kopiert werden.
Es entsteht somit eine Trapezform, deren obere Kante bei der äusseren Verfolgung kleiner ist als die untere Kante, bzw. bei der inneren Verfolgung ist die obere Kante grösser als die untere Kante. Die linke und rechte Seite des Trapezes passen im Sinne eines Panoramas zusammen, doch präsentierbar ist diese Darstellung noch nicht. Denkbar wäre die Nachbearbeitung in einem Programm, das Pixelbilder trapezförmig verzerren kann, und somit ein Trapez in ein Rechteck umwandeln kann (z.B. LivePicture). Denkbar wäre jedoch auch eine Bearbeitung innerhalb des Pixelprogrammes durch den Interpolationsalgorithmus, der bei einer Veränderung der Bildgrösse verwendet wird. Dabei soll die Pixelzahl einzelner Zeilen verändert werden. Unterschieden werden kann zwischen einer Erweiterung und einer Verringerung, wobei im ersten Fall alle Zeilen auf die Länge des Panoramabildes erweitert werden, während im zweiten Fall alle Zeilen auf die kleinste aufgetretene Pfadlänge verkleinert werden. Wird von einer Erhöhung ausgegangen, so wird eine Zeile ausgewählt und sie wird auf die Anzahl der Pixel des Panoramabildes erweitert, wobei die Erweiterung jeweils nur wenige Prozent beträgt, wenn man z.B. ein Panorama mit 500x8000 Pixeln unterstellt, sodass keine grossen Verzerrungseffekte bzw. Diskontinuitäten im Ergebnispanorama entstehen dürften.
Eine Eigenschaft dieser Verfahren ist die mehrfache Übernahme eines Bildteiles durch durch Auswahlprozesse aus unterschiedlichen Richtungen. Für ein gegenständliches Bild würde dies zu merkwürdigen Effekten der Delokation führen, doch für die abstrakten Bilder ist dies nur ein weiterer, potentiell interessanter Effekt.
Auf Grund der Probleme des oben vorgestellten Ansatzes bezüglich der unterschiedlichen Längen von einzelnen Pfaden soll ein zweiter Ansatz vorgestellt werden, der auf der Verfolgung eines einzelnen Pfades mit Hilfe eines Pixel-Windows basiert (siehe Abbildung 7)). Extern gegeben sei ein geglätteter und geschlossener Pfad über einem Motiv sowie die Höhe P(h)+1 des zu erstellenden Panoramas. Die Pixelanzahl der Panoramahöhe wird verwendet, um ein Fenster zu definieren, das ein Pixel als Breite verwendet. Aus Gründen der besseren Darstellungen wird in Abbildung 7) ein Fenter mit einer grösseren Breite abgebildet. Ausgehend von einem zufälligen Pixel des Pfades wird eine senkrecht zu dem Pfad stehende Gerade erzeugt, wobei von einer mittleren Verfolgung ausgegangen wird, d.h. die Gerade oberhalb und unterhalb des Pfades verlaufen soll, wie dies in Abbildung 7) dargestellt wird. Die Gerade überstreicht eine Menge von Pixeln des darunter liegenden Motives, die als Spalten des Panoramas verwendet werden sollen. Durch die mittlere Verfolgung werden P(h)/2 Pixel oberhalb und P(h)/2 Pixel unterhalb des jeweils ausgewählten Pixels des Pfades ermittelt, die zusammen mit dem Pfad-Pixel die P(h)+1 Pixel der Panoramahöhe ergeben. Nachdem eine Spalte festgelegt ist, wird der nächste Pfad-Pixel ausgewählt und es wird eine weiter senkrechte Gerade in diesem Punkt erzeugt.
Abbildung 7) Mittlere Verfolgung eines Pfades mit einem Pixel-Window
Diese Vorgehensweise besitzt jedoch ein vergleichbares Problem wie der oben dargestellte Ansatz, der sich daraus ergibt, dass senkrechte Geraden benachbarter Punkte auf einer Kurve einen Winkel bilden, was dazu führt, dass mit zunehmender Panoramahöhe P(h)+1 oben und unten liegende Punkte eine zunehmende Distanz zueinander besitzen (siehe Abbildung 8)). Die Krümmung des Pfades ist in Verbindung mit der Panoramahöhe der entscheidende Einflussfaktor, wobei die Wahl eines geglätteten Pfades anstatt eines Linienzuges einen positiven Einfluss besitzt, da an den Ansatzpunkten der Linien innerhalb eines Linienzuges dieser nicht lokale Effekt stark auftritt, während er innerhalb einer Linie des Linienzuges nicht auftritt, da benachbarte Geraden parallel verlaufen. Bei einem geglätteten Pfad tritt dieser Effekt bei allen Pfadpunkten auf, jedoch wesentlich schwächer als bei den Ansatzpunkten eines Linienzuges.
Abbildung 8) Zwei Geraden nebeneinander liegender Pfad-Pixel
Wie mit diesem nicht lokalen Effekt umzugehen ist, ist eine wesentliche Frage des Projektes, wobei ein Ansatz die Erzeugung zusätzlicher Spalten in Verbindung mit einem Interpolationsverfahren ist. Besteht die Distanz zwischen den Enden der beiden Geraden nebeneinander liegender Pfadpixel z.B. 8 Pixel, so könnten zwischen den beiden Spalten des Panoramas, die sich durch Übernahme von überstrichenen Pixeln des Motivs ergeben, z.B. 3 neue Spalten eingeführt werden, die sich durch Interpolation der Eigenschaften der Pixel der beiden Original-Spalten ergeben. Hierbei können jeweils zwei korrespondierende Pixel der Original-Spalten verwendet werden, oder es wird eine grössere Nachbarschaft der Original-Spalten oder benachbarter Spalten herangezogen. Wird ein solcher Ansatz verwendet, so ergibt sich die Panoramabreite nicht mehr allein durch die Anzahl der Pixel des Pfades, sondern auch durch die Wahl von "mittlerer Verfolgung" gegenüber "oberer bzw. unterer Verfolgung" des Pfades, da bei den beiden zuletzt genannten Ansätzen die Distanz der Enden der beiden oberen bzw. unteren Geradenenden bei einer gegebenen Panoramahöhe grösser ist. Weiterhin ist die Panoramalänge durch die Parameter des verwendeten Interpolationsverfahrens abhängig, bei dem die Anzahl der einzufügenden Spalten als Funktion der Distanz zwischen den Geradenenden festgelegt werden muss.Dem positiven Effekt der geringeren Enddistanzen bei der mittleren Verfolgung steht ein anderer nicht lokaler Effekt gegenüber, da die beiden Geraden nebeneinander liegender Pfadpixel sich schneiden. Wird Abbildung 8) betrachtet, so liegt die nachfolgende Gerade oberhalb des Pfades rechts von der vorangegangenen Geraden, während sie unter dem Pfad links von der vorangegangenen Gerade liegt. Bei einem Pfad, der lokal eine Rechtskrümmung wie in dem dargestellten Fall besitzt, schneiden sich die beiden Geraden unter dem Pfad, sodass das Ende der nachfolgenden Gerade links vom Ende der vorangegangenen Gerade liegt. Bei einer lokalen Linkskrümmung des Pfades liegen die Verhältnisse umgekehrt, wobei in einem geschlossenen Pfad, wie er in Abbildung 2) als Linienzug angedeutet wird, beide Krümmungsverhältnisse mehrfach auftreten.
Gegenüber dem zeilenweisen Aufbau des Panoramas besitzt der Ansatz des spaltenweisen Aufbaus eines Panoramas den Vorteil, dass mit den zugrunde liegenden Vorgehensweisen eine Form von interaktiver Bewegung innerhalb eines Motives realisiert werden kann, bei dem kein Pfad vorgegeben werden muss, sondern bei dem ein Pfadabschnitt durch einen Prozess wie z.B. der Interaktion eines Nutzers durch Maus-, Joystick- oder Tastatureingabe festgelegt wird. Dadurch wird eine Bewegung innerhalb eines Motives festgelegt, die aufgezeichnet werden kann, und somit ein breitformatiges neues Motiv liefert. Ein Panorama ist bei dieser Vorgehensweise ein Sonderfall, wenn das Anfangs-Window der Bewegung mit einem End-Window übereinstimmt, d.h. wenn als Bewegungsfigur ein geschlossener Pfad verwendet wird.