Distributed Counting: How to Bypass Bottlenecks

A distributed counter is a variable that is common to all processors in the system and that supports an atomic test-and-increment operation: The operation delivers the system's counter value to the requesting processor and increments it. In this work we examine di erent aspects of distributed counting, with the emphasis on e ciency. A naive distributed counter stores the system's counter value with a distinguished central processor. When other processors initiate the testand-increment operation, they send a request message to the central processor and in turn receive a reply message with the current counter value. However, with a large number of processors operating on the distributed counter, the central processor will become a bottleneck. There will be a congestion of request messages at the central processor. The primary goal of this work is to implement an e cient distributed counter. Since the e ciency of a distributed counter depends on the absence of a bottleneck, any reasonable model of e ciency must comprise the essence of bottlenecks. In one approach, we minimize the number of messages which a \busiest" processor handles during a series of test-andincrement operations. We show a nontrivial lower bound and present a distributed counter that achieves this lower bound in a \sequential" setting. Since distributed counting has a multiplicity of applications (allocation of resources, synchronization of processes, mutual exclusion, or as a base for distributed data structures), the lower bound tells about the minimum coordination overhead for various distributed tasks. In the main part of the work we present the three most important proposals for implementing an e cient distributed counter: The family of Counting Networks by Aspnes, Herlihy, and Shavit; Counting Networks are distributed counters with an elegant decentralized structure, that had and will have enormous in uence on research. Contrary to Counting Networks, the Di racting Tree proposal by Shavit and Zemach demands iv Abstract that processors have a notion of time. Finally we present the Combining Tree. Its basic idea, combining several requests into one meta request, is well-known since 1983 (Gottlieb, Lubachevski, and Rudolph). For the rst time, we study a completely revised tree concept with systematic combining and other improvements. A randomized derivative of the Combining Tree, the Counting Pyramid, promises further advantages in practice. All three schemes are checked for correctness and other characteristics. We analyze the expected time for a test-and-increment operation. In order to take into account the bottleneck, we propose that no processor can handle an unlimited number of messages in limited time. We show that all three schemes are considerably more e cient than the central scheme. Moreover, we give evidence that the Combining Tree is an asymptotically optimum distributed counting scheme. There are various other characteristics beyond pure speed which are desirable for a distributed counter. In particular, we examine stronger correctness conditions (e.g. linearizability). We want a counting scheme to provide more powerful operations than the test-and-increment only. And we wish that a counting scheme adapts instantaneously to changing conditions in the system. Since these points are satis ed by the Counting Pyramid, it is a promising distributed counter for various practical applications. We further discuss model-speci c issues such as fault tolerance and notion of time. Our theoretical analyses are supported by simulations. We present various case studies along with their interpretation. Additionally we present many important applications of distributed counting (e.g. distributed data structures such as stack or queue, and dynamic load balancing). Kurzfassung Ein Zahler in einem System verteilter Prozessoren ist eine Variable, die jedem Prozessor einen atomaren test-and-increment-Zugri erlaubt: Der aktuelle Zahlerwert wird dem anfragenden Prozessor mitgeteilt, und der Zahlerwert des Systems wird um eins erhoht. In dieser Arbeit untersuchen wir verschiedene Aspekte des verteilten Zahlens, wobei auf E zienzbetrachtungen besonderer Wert gelegt wird. Ein naiver Ansatz f ur einen verteilten Zahler speichert den Zahlerwert des Systems bei einem zentralen Prozessor. Greifen andere Prozessoren mittels test-and-increment-Operation auf den Zahlerwert zu, senden sie dem zentralen Prozessor eine Anfragenachricht und erhalten postwendend eine Antwortnachricht mit dem aktuellen Zahlerwert. Ist die Anzahl der Prozessoren im System gross, wird der zentrale Prozessor  uberlastet. Zu viele Anfragenachrichten tre en in zu kurzer Zeit beim zentralen Prozessor ein. Die Anfragen konnen nicht mehr postwendend beantwortet werden { sie stauen sich beim zentralen Prozessor. Der zentrale Prozessor wird zum Nadel ohr des verteilten Systems. Das primare Ziel dieser Arbeit ist, einen e zienten verteilten Zahler zu realisieren. Da die E zienz eines verteilten Zahlers von der Absenz eines Nadelohrs abh angt, muss die Nadelohr-Problematik in jedes vern unftige E zienz-Modell eingehen. In einem ersten Ansatz minimieren wir die Anzahl der Nachrichten, die der \zentralste" Prozessor wahrend einer Serie von test-and-increment-Zugri en verarbeitet. Wir zeigen eine nichttriviale untere Schranke und stellen einen verteilten Zahler vor, der diese untere Schranke in einer sequentiellen Umgebung erreicht. Da verteiltes Zahlen eine Vielzahl von Anwendungen hat (Allokation von Ressourcen, Synchronisation von Prozessen, gegenseitiger Ausschluss oder als Basis f ur verteilte Datenstrukturen), gibt die untere Schranke Aufschluss  uber den minimalen Koordinationsaufwand vieler verteilter Probleme. vi Kurzfassung Im Hauptteil der Arbeit pr asentieren wir die drei wichtigsten Vorschlage zur e zienten Realisierung verteilter Zahler: Die Klasse der Counting Networks von Aspnes, Herlihy und Shavit. Counting Networks sind verteilte Zahler mit eleganter dezentraler Struktur, die einen grossen Ein uss auf die Forschung hatten und haben werden. Im Gegensatz zu Counting Networks verlangt der Di racting Tree von Shavit und Zemach von den Prozessoren einen Zeitbegri . Schliesslich stellen wir den Combining Tree vor. Dessen Schl usselidee, mehrere Anfragen zu einer Meta-Anfrage zu kombinieren, ist schon seit 1983 (Gottlieb, Lubachevski und Rudolph) bekannt und wird von uns komplett  uberarbeitet und signi kant verbessert. Eine randomisierte Verwandte des Combining Tree, die Counting Pyramid, verspricht weitere Vorteile in der Anwendung. Alle drei Schemata werden auf Korrektheit und andere Eigenschaften gepr uft. Wir analysieren die erwartete Zeit, die ein test-and-incrementZugri kostet. Um der Nadelohr-Problematik Rechnung zu tragen, verlangen wir, dass kein Prozessor eine unbegrenzte Anzahl Nachrichten in begrenzter Zeit verarbeiten kann. Wir zeigen, dass alle drei Schemata wesentlich e zienter als der zentrale Zahler sind. Des weiteren besprechen wir, weshalb der Combining Tree der asymptotisch bestmogliche verteilte Zahler ist. Neben purer Geschwindigkeit w unschen wir uns diverse weitere Eigenschaften von einem verteilten Zahler. Wir untersuchen insbesondere versch arfte Korrektheitsbedingungen (Stichwort linearizability), die Flexibilitat, aufwendigere Operationen als test-and-increment anzubieten und die Anpassungsfahigkeit an sich andernde Umstande im System. Diese Eigenschaften sind die St arke der Counting Pyramid, weshalb sie ein vielversprechender verteilter Zahler f ur den praktischen Einsatz ist.  Uberdies besprechen wir modellspezi sche Punkte wie Fehlertoleranz oder den Zeitbegri . Unsere theoretischen Analysen werden durch Ergebnisse einer Simulation gest utzt. Wir pr asentieren verschiedene Fallstudien und deren Interpretationen. Ausserdem stellen wir einige wichtige Anwendungen des verteilten Zahlens (verteilte Datenstrukturen wie Stack, Queue oder dynamische Lastverteilungsverfahren) vor. Chapter