Streams

Verwenden Sie die Seite „Streams“, um Jobs zu verwalten, die Sie kontinuierlich ausführen möchten. Wenn ein Job als Stream ausgeführt wird, wird er automatisch neu gestartet, unabhängig davon, ob der Job erfolgreich abgeschlossen wurde, fehlgeschlagen ist oder der Server abgestürzt oder heruntergefahren wurde.

Workspaces, die durch Streams betrieben werden, haben normalerweise eine Ereigniswarteschlange oder einen Nachrichtenbroker als Quelle. Nachrichten werden von Transformatoren wie AzureQueueStorageConnector oder KafkaConnector verarbeitet, die inModus:Strom. Der Stream ermöglicht Ihnen die Integration und Analyse von Daten in Echtzeit, während diese erstellt werden. Im Stream-Modus entsteht kein Overhead durch das Starten und Stoppen von Jobs, was bedeutet, dass ein sehr großes Datenvolumen mit geringer Latenz verarbeitet werden kann.

Streams bieten gegenüber der kontinuierlichen Ausführung von Jobs über andere Schnittstellen die folgenden zusätzlichen Vorteile:

• Wenn Sie einen Stream erstellen,FME-Motoren Die von Ihnen zum Ausführen seiner Jobs zugewiesenen Dateien sind diesem Stream zugeordnet.
• Sie können den Verarbeitungsdurchsatz skalieren, indem Sie Jobs von derselbenworkspace gleichzeitig von mehreren Motoren. Die Anzahl der Jobs, die ein Stream ausführt, entspricht der Anzahl der dem Stream zugewiesenen Engines.
NotizWenn die FME Engines, die Sie für den Stream angeben, zu einerWarteschlangen, werden sie aus diesen Warteschlangen entfernt, sodass sie dem Stream gewidmet sind.
• Sie können einen Stream konfigurieren und ihn dann anhalten.
• Auf der Seite „Streams“ werden Ihnen alle Jobs angezeigt, die Sie kontinuierlich ausführen, sodass Sie sie praktisch an einem Ort verwalten können.

Erste Schritte mit Streams

Um einen Stream zu erstellen, wählen SieStreams>Stream erstellen. Oder wählen SieStreams>Streams verwalten und klicken Sie aufErstellen.

1. Füllen Sie die folgenden Felder aus:
• Name: Geben Sie einen Namen für den Stream ein.
• Beschreibung: (Optional) Geben Sie eine aussagekräftige Beschreibung des Streams ein, beispielsweiseworkspace es läuft und warum Sie möchten, dass es kontinuierlich läuft. Verwenden Sie die Markdown-Tools nach Wunsch.
• Protokoll-Debug: Wenn aktiviert, werden zusätzliche Informationen aufgezeichnet, umFME-Jobprotokolle. Diese Einstellung wird am besten verwendet, wenn zuvor ein Fehler aufgetreten ist und Sie weitere Informationen suchen.
NotizProtokoll-Debug kann zu einer langsameren Leistung des Arbeitsbereichs und großen Protokolldateien führen.
• Archiv: Geben Sie das Repository an, das dieworkspace Sie möchten kontinuierlich laufen.
• Workspace: Geben Sie dieworkspace Sie möchten kontinuierlich laufen.
NotizDerworkspace sollte einen Transformator enthalten, der aufModus:Strom, wie etwa AzureQueueStorageConnector oder KafkaConnector.
• Veröffentlichte Parameter: Wenn dieworkspace hat veröffentlichte Parameter, geben Sie sie hier an.
2. KlickenOK.
3. Es öffnet sich eine Seite, die die Eigenschaften des von Ihnen erstellten Streams zusammenfasst. Der Stream ist ausführungsbereit, sobald Sie FME Engines zur Ausführung der Jobs zuweisen. Wenn Sie nicht möchten, dass der Stream sofort ausgeführt wird,Stoppen.
4. Um FME Engines zum Ausführen der mit dem Stream verknüpften Jobs zuzuweisen, klicken Sie aufVerwalten unter Zugewiesene Engines. Beachten Sie beim Zuweisen von Engines zu einem Stream Folgendes:
• Durch die Zuweisung mehrerer Engines können Sie den Verarbeitungsdurchsatz skalieren, indem Sie denselben Job gleichzeitig ausführen. Die Anzahl der Jobs, die ein Stream ausführt, entspricht der Anzahl der dem Stream zugewiesenen Engines.
• Sie können nur Engines zuweisen, die nicht bereits anderen Streams zugeordnet sind.
• Wenn die FME Engines, die Sie für den Stream angeben, zu einerWarteschlangen, werden sie aus diesen Warteschlangen entfernt, sodass sie dem Stream gewidmet sind.
• Wenn ein Motor von derFME Flow (Beispiel: Eine Maschine, auf der eine separate FME-Engine gehostet wird, stürzt ab), jeder laufende Job wird in den Status „in der Warteschlange“ zurückgesetzt und an die Engine zurückgegeben, wenn er wieder verfügbar ist.
5. Geben Sie im Dialogfeld „Engine-Regel verwalten“ Folgendes an:
   • Typ: So möchten Sie dem Stream FME-Engines zuweisen:
     • Name: Engines werden dem Stream nach Engine-Namen zugewiesen
     • Eigentum: Engines werden dem Stream basierend auf ihren Eigenschaften zugewiesen.
   • Motoren: WennTypIstName, wählen Sie eine oder mehrere Engines nach Namen aus, um sie dem Stream zuzuweisen.
   • Regel: WennTypIstEigentum, verwenden Sie die Boolesche Logik, um die Eigenschaften anzugeben, die bestimmen, wie Engines dem Stream zugewiesen werden.

   Folgende Eigenschaften stehen zur Auswahl ohne manuelle Eingabe zur Verfügung:

   Für Eigenschaften erweitern
   • Dynamisch:FME-Motoren Der Lizenztyp ist Dynamisch (CPU-Auslastung).
   • Standard:FME-Motoren Lizenztyp ist Standard.
   • Physischer Speicher des Engine-Hosts: RAM-Menge auf dem Computer, auf dem eine FME-Engine gehostet wird.
   • Prozessoranzahl des Engine-Hosts: Berechnet als: (Anzahl der CPUs) x (Anzahl der Kerne) x (Anzahl der Hyperthreads) auf dem Computer, auf dem eine FME-Engine gehostet wird.

   Um eine dieser Eigenschaften hinzuzufügen, klicken Sie auf+ Regel und wählen Sie es aus.

   Darüber hinaus können Sie weitere Engine-Eigenschaften hinzufügen, wie sie auf derMotoren Registerkarte, beispielsweise den Namen oder das Betriebssystem des Hostcomputers. Um weitere Eigenschaften hinzuzufügen,RegelKlicken Sie auf+ Eigenschaft erstellen. NebenTyp, geben Sie anBrauchund geben Sie einenEigentumgenau wie es auf demMotoren Tab.

   Sobald Sie eine Eigenschaft angeben, erscheint die Regel unter demRegelrunterfallen. Um weitere Eigenschaften hinzuzufügen, klicken Sie auf+ Regel. Um Eigenschaften in der Regel zu verschachteln, klicken Sie auf+ Regelwerk.

   Um beispielsweise eine beliebige dynamische Engine auf dem Server WHISTLER anzugeben (einBrauchEigenschaft), geben SieDynamisch UND WHISTLER.

   Wenn Sie fertig sind, klicken Sie aufOK.

6. Sobald Sie einem Stream Engines zuweisen, beginnt dieser zu laufen, sofern Sie ihn nicht zuvor gestoppt haben. Wenn Sie bereit sind, den Stream auszuführen, klicken Sie aufStart; oder wählen Sie auf der Seite „Streams verwalten“ den Stream aus und klicken Sie aufAktionen> Start.

Streams verwalten

WählenStreams>Streams verwalten.

So starten, stoppen oder entfernen Sie Streams

Wählen Sie die Streams aus, klicken Sie aufAktionenund wählen SieStart, Stoppen, oderEntfernen, jeweils.

Wenn ein Stream gestoppt wird, wird der zugehörigeworkspace übermittelt keine Aufträge an den Stream. Alle in der Warteschlange befindlichen oder laufenden Jobs werden abgebrochen.

So zeigen Sie die laufenden oder in der Warteschlange befindlichen Aufträge über einen Stream an

Klicken Sie auf den Stream, um ihn zu öffnen, und scrollen Sie zu „Jobs“. Klicken Sie auf einen Job, um ihn imJobs Seite.

So zeigen Sie alle Engines an, die Streams zugewiesen sind

Sie können alle Engines, die Streams zugewiesen sind, auf derMotoren Seite.

So ändern Sie die einem Stream zugewiesenen Engines

Klicken Sie auf den Stream, um ihn zu öffnen. Klicken Sie unter Zugewiesene Engines aufVerwalten um Motoren zuzuweisen. Neu zugewiesene Engines führen Jobs kurz nach der Zuweisung aus.