Apacke Kafka Dinleyici Konuları

Question 1

Diyelim ki her biri 3 bölümden oluşan 50 Kafka Konusum var, bu toplam 150 bölüm. Bu 150 bölümün her biri için yapılandırılmış bir KafkaListener / Consumer'ım varsa (her bölümdeki yüksek hacim nedeniyle), çalışan 150 dinleyicim olduğu anlamına gelir. Anladığım kadarıyla, her dinleyici kendi iş parçacığını alır. Yani bu, bu senaryoda 150 aktif iş parçacığı olacağı anlamına mı geliyor? Bu çok fazla gibi görünüyor. Bunu bir seferde maksimum iş parçacığı sayısıyla sınırlayabilmemin bir yolu var mı (örneğin, 20)?

Question 2

Kafka her zaman tek bir bölümün verilerini tek bir tüketici iş parçacığına verir

İş parçacığı sayısını sınırlamak için 20 ile 150 bölümler, eşzamanlılığı şu şekilde ayarlayabilirsiniz 8 etkili bir şekilde 8 ayrı tüketici örneği oluşturmalı ve iş parçacığı sayısını en fazla sınırlamalıdır <19 (150/8).

Bu, kafka dinleyici fabrikanızda eşzamanlılığı ayarlamak için biraz daha açıklayan konuyla ilgili başka bir yığın gönderisidir. Ayrıca bu, kafka konuları ve bölümleri ile ilgili bazı kavramları açıklamak için iyi bir kaynaktır.

Question 3

Tüketimi en üst düzeye çıkarmak istiyorsanız, evet, 150'ye ihtiyacınız var consumer threads 150 üzerinde partitions (bölüm başına 1 tüketici iş parçacığı). Yalnızca 20'iniz varsa, tüketimi en üst düzeye çıkarmak istemezsiniz, bunun yerine şimdi 1 tüketici, örneğin 150/20 = 7 tüketmekten sorumludur partitions. Bu bir takas.
Uygulamanızın 50 tüketmesini istemezsiniz topics bir anda. Bu ölçek sorununa yol açar. Diyelim ki şimdi bir konunun sayısını arttırması gerekiyor partitions 3'ten 6'ya, uygulamanızı yatay olarak 1'den 2 örneğe ölçeklendirirsiniz, yani 150'den consumers 300'e kadar consumers ve sadece 150 + (6-3) = 153 aktif var consumers diğerleri boşta kalır.

duppydodah · Answer 1 · 2021-11-24T04:47:11

Kafka her zaman tek bir bölümün verilerini tek bir tüketici iş parçacığına verir

İş parçacığı sayısını sınırlamak için 20 ile 150 bölümler, eşzamanlılığı şu şekilde ayarlayabilirsiniz 8 etkili bir şekilde 8 ayrı tüketici örneği oluşturmalı ve iş parçacığı sayısını en fazla sınırlamalıdır <19 (150/8).

Bu, kafka dinleyici fabrikanızda eşzamanlılığı ayarlamak için biraz daha açıklayan konuyla ilgili başka bir yığın gönderisidir. Ayrıca bu, kafka konuları ve bölümleri ile ilgili bazı kavramları açıklamak için iyi bir kaynaktır.

Linh Vu · Answer 2 · 2021-11-25T03:34:09

Tüketimi en üst düzeye çıkarmak istiyorsanız, evet, 150'ye ihtiyacınız var consumer threads 150 üzerinde partitions (bölüm başına 1 tüketici iş parçacığı). Yalnızca 20'iniz varsa, tüketimi en üst düzeye çıkarmak istemezsiniz, bunun yerine şimdi 1 tüketici, örneğin 150/20 = 7 tüketmekten sorumludur partitions. Bu bir takas.
Uygulamanızın 50 tüketmesini istemezsiniz topics bir anda. Bu ölçek sorununa yol açar. Diyelim ki şimdi bir konunun sayısını arttırması gerekiyor partitions 3'ten 6'ya, uygulamanızı yatay olarak 1'den 2 örneğe ölçeklendirirsiniz, yani 150'den consumers 300'e kadar consumers ve sadece 150 + (6-3) = 153 aktif var consumers diğerleri boşta kalır.

Apacke Kafka Dinleyici Konuları

Soru

Diğer dillerde

Bu sayfa diğer dillerde

Bu kategoride popüler

Popüler soruları bu kategoride