Veri Kiosk Sorgularını Zamanlama
Data Kiosk sorgularını nasıl planlayacağınızı öğrenin.
Otomatik olarak nasıl düzenli arama yapılacağını öğrenmek için bu kılavuzu kullanın createQuery
gereksiz veri isteklerinden kaçınırken.
Not
Bu zamanlama mekanizması için tam bir kod örneği şu adreste yayınlanmıştır. GitHub'da Repo örnekleri.
Veri Kioskuna Genel Bakış
Data Kiosk'u kullanmak aşağıdaki adımları içerir:
- Bildirime abone olun: Bir SQS kuyruğuna abone olun
DATA_KIOSK_QUERY_PROCESSING_FINISHED
veri işleme tamamlandığında sizi bildiren bildirim. - Sorgu oluştur: Şunları kullanarak bir GraphQL sorgusu gönderin
createQuery
operasyon. - Belgeyi al: Kullan
dataDocumentId
veyaerrorDocumentId
belge ayrıntılarını aşağıdakilerle almak içingetDocument
operasyon. Bu özellikler bildirim yükündedir. Eğer alırsanızerrorDocumentId
, başarısızlığın nedenini belgede bulabilirsiniz. - Verileri saklayın: Alın ve saklayın JSONL dosyadan
documentUrl
daha fazla işleme ve erişim için.
Not
Veri Kiosk iş akışları hakkında daha fazla bilgi için, bkz:
Eğitim: Veri Kiosk için bir zamanlama mekanizması oluşturun
Gereksiz aramalardan kaçınırken Data Kiosk'a otomatik ve düzenli sorgulama yapmayı öğrenin.
Adım 1. Zamanlama parametrelerini tanımlayın
Başlangıç tarihini ve sorgu yapmak istediğiniz oranı belirleyin.
Not
Sorgu başlangıç tarihi geçmişteyse ve zamanlayıcının doldurmasını istiyorsanız, günümüzü sorgulayana kadar sorguları olabildiğince sık oluşturun. Bu, verilerinizin güncel kalmasını sağlar. Örneğin, başlangıç tarihi bir ay önceyse ve her günden bilgi istiyorsanız, çözümü ayarlayın, böylece zamanlayıcı, geçerli güne ulaşana kadar geçen ay boyunca her gün için sorguları hızlı bir şekilde çalıştırır.
Geri doldurma gerektirmiyorsanız, zamanlayıcının geçmiş sorgular oluşturmasını önlemek için başlangıç tarihini şimdiki veya gelecekteki bir tarihe ayarlayın.
Ortak frekanslar günlük, haftalık veya aylık içerir. Fiyat seçimi, verilerinizin ne sıklıkta güncellendiğine bağlıdır. Örneğin, verileriniz günlük olarak güncellenirse, günlük sıklık uygundur. Çok sık sorgulamayın. Bir veri kümesi günlük olarak güncellenirse, saatlik bir sorgu gereksiz olacaktır.
Adım 2. Sorgu parametrelerini ayarlama
Her sorgunun yeni verileri alması için sorgudaki başlangıç ve bitiş tarihlerini istediğiniz orana göre değiştiren bir işlev oluşturun. Örneğin, zamanlama oranı günlük ise, işlev her yeni sorgu için başlangıç ve bitiş tarihlerini bir gün ayarlamalıdır.
Uyarı!
Farklı veri kümelerinin farklı öznitelik anahtar adları ve farklı veri yeniden yükleme dönemleri vardır. Her veri kümesi için başlangıç ve bitiş tarihleri için öznitelik anahtarlarını öğrenin. Başlangıç ve bitiş tarihi niteliklerini güncellediğinizde veya değiştirdiğinizde anahtar adlar veri kümeleri arasında farklılık gösterebilir.
Adım 3. Sorgu oluştur
Sorguları otomatik olarak göndermek için aşağıdaki gibi bir olay zamanlayıcısı kullanın AWS EventBridge. EventBridge ile cron ifadelerini veya rate ifadelerini kullanarak yinelenen görevler ayarlayabilirsiniz (örneğin, her beş dakikada bir, saatlik, günlük). EventBridge'i sorgu tarihlerini otomatik olarak ayarlayacak ve aramaları yapacak şekilde yapılandırın createQuery
verileri sürekli ve verimli bir şekilde almak için tanımlanmış aralıklarla.
Adım 4. Program bilgilerini kaydet
Başlangıç tarihleri, ücretler ve ilişkili sorgular gibi zamanlama bilgilerini bir veritabanında saklayın. Zamanlamaları gerektiği gibi iptal edebileceğinizden veya silebildiğinizden ve denetim ve raporlama amacıyla sorguların günlüklerini tutabileceğinizden emin olun.
En iyi uygulamalar ve hususlar
Hatalardan kaçının ve fazlalığı ele alın. Dikkate alınması gereken bazı şeyler şunlardır:
-
Fazlalıktan kaçının: Sorguların benzersiz veri talep ettiğini doğrulayın. Önceden depolanan veri zaman damgalarıyla örtüşme olmadığından emin olun ve aynı sorgu için birden fazla zaman çizelgesi oluşturmayın. Önceki sorgu hala çalışıyorsa sorgu oluşturma başarısız olur.
-
Günlüğe kaydetme hataları: Başarısız bir sorgunun tüm zamanlama mekanizmasını durdurmasına izin vermeyin. Sorgu gönderme ve veri alma sırasında hataları yakalamak için kapsamlı günlük kaydı uygulayın. Data Kiosk'un döndürdüğü hata belgelerini işleyin ve içerdikleri hataları düzeltin.
-
Tekrar dene: Bir sorgu eşzamanlı sorgu sınırlaması tarafından kısıtlanıyorsa, üstel geri çekilme kullanan yeniden deneme mekanizmalarını dahil edin.
-
İzleme ve uyarı: Gerçek zamanlı olarak izleyin ve başarısız sorgular, aşılan oran sınırları veya uzun işlem süreleri için hata uyarıları ayarlayın. Sorunları hızlı bir şekilde tanımlayın ve yanıtlayın.
Farklı hatalar ve bunların nasıl düzeltileceği hakkında ayrıntılar için bkz. İşleme hatalarını işleme.
Updated 23 days ago