View a markdown version of this page

Aus ServiceNow Entitäten lesen - AWS Glue
Partitionierung von Abfragen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Aus ServiceNow Entitäten lesen

Voraussetzung

Ein ServiceNow Tables-Objekt, aus dem Sie lesen möchten. Sie benötigen den Objektnamen wie „pa_bucket“ oder „incident“.

Beispiel:

servicenow_read = glueContext.create_dynamic_frame.from_options(
    connection_type="servicenow",
    connection_options={
        "connectionName": "connectionName",
        "ENTITY_NAME": "pa_buckets",
        "API_VERSION": "v2"
        "instanceUrl": "https://<instance-name>.service-now.com"
    }
)

ServiceNow Entitäts- und Felddetails:

ServiceNow Stellt für die folgenden Entitäten Endpunkte zum dynamischen Abrufen von Metadaten bereit, sodass die Operatorunterstützung für jede Entität auf Datentypebene erfasst wird.

Entität Datentyp Unterstützte Operatoren
Tabellen (dynamische Entitäten) Ganzzahl =, !=, >, >=, <, <=, BETWEEN
BigDecimal =, !=, >, >=, <, <=, BETWEEN
Gleitkommazahl =, !=, >, >=, <, <=, BETWEEN
Long =, !=, >, >=, <, <=, BETWEEN
Date =, !=, >, >=, <, <=, BETWEEN
DateTime =, !=, >, >=, <, <=, BETWEEN
Boolesch =, !=
Zeichenfolge =, !=, >, >=, <, <=, BETWEEN, LIKE
Struct –
Anmerkung

Der Datentyp Struktur wird in der Antwort des Connectors in einen Zeichenfolge-Datentyp konvertiert.

Anmerkung

DML_STATUSist ein zusätzliches benutzerdefiniertes Attribut, das für die Nachverfolgung von Datensätzen verwendet wird. CREATED/UPDATED

Partitionierung von Abfragen

Feldbasierte Partitionierung:

Sie können die zusätzlichen Spark-Optionen PARTITION_FIELD,LOWER_BOUND, UPPER_BOUND und NUM_PARTITIONS angeben, wenn Sie Parallelität in Spark nutzen möchten. Mit diesen Parametern wird die ursprüngliche Abfrage in NUM_PARTITIONS Unterabfragen aufgeteilt, die von Spark-Aufgaben gleichzeitig ausgeführt werden können.

Entitätsname Partitionieren von Feldern Datentyp
Dynamische Entität sys_mod_count Ganzzahl
sys_created_on, sys_updated_on DateTime

  • PARTITION_FIELD: der Name des Feldes, das zur Partitionierung der Abfrage verwendet werden soll.

  • LOWER_BOUND: ein inklusiver Untergrenzwert des ausgewählten Partitionsfelds.

    Für das Datetime-Feld akzeptieren wir das Spark-Zeitstempelformat, das in SPark SQL-Abfragen verwendet wird.

    Beispiele für gültigen Wert:

    "2024-01-30T06:47:51.000Z"

  • UPPER_BOUND: ein exklusiver Obergrenzwert des ausgewählten Partitionsfelds.

  • NUM_PARTITIONS: die Anzahl der Partitionen.

In der folgenden Tabelle sind Details zur Unterstützung der Partitionierung von Entitäten beschrieben:

Beispiel:

servicenow_read = glueContext.create_dynamic_frame.from_options(
    connection_type="servicenow",
    connection_options={
        "connectionName": "connectionName",
        "ENTITY_NAME": "pa_buckets",
        "API_VERSION": "v2",
        "instanceUrl": "https://<instance-name>.service-now.com"
        "PARTITION_FIELD": "sys_created_on"
        "LOWER_BOUND": "2024-01-30T06:47:51.000Z"
        "UPPER_BOUND": "2024-06-30T06:47:51.000Z"
        "NUM_PARTITIONS": "10"
    }

Datensatzbasierte Partitionierung:

Sie können die zusätzliche Spark-Option NUM_PARTITIONS angeben, wenn Sie Parallelität in Spark nutzen möchten. Mit diesem Parameter wird die ursprüngliche Abfrage in NUM_PARTITIONS Unterabfragen aufgeteilt, die von Spark-Aufgaben gleichzeitig ausgeführt werden können.

Bei der datensatzbasierten Partitionierung wird die Gesamtzahl der vorhandenen Datensätze von der ServiceNow API abgefragt und durch die angegebene Zahl dividiert. NUM_PARTITIONS Die resultierende Anzahl von Datensätzen wird dann gleichzeitig von jeder Unterabfrage abgerufen.

  • NUM_PARTITIONS: Die Anzahl an Partitionen.

Beispiel:

servicenow_read = glueContext.create_dynamic_frame.from_options(
    connection_type="servicenow",
    connection_options={
        "connectionName": "connectionName",
        "ENTITY_NAME": "pa_buckets",
        "API_VERSION": "v2",
        "instanceUrl": "https://<instance-name>.service-now.com"
        "NUM_PARTITIONS": "2"
    }