))
LinkedIn: Using Set Cover to Optimize a Large-Scale Low Latency Distributed Graph
Manage episode 487366634 series 3670304
Вміст надано The Binary Breakdown. Весь вміст подкастів, включаючи епізоди, графіку та описи подкастів, завантажується та надається безпосередньо компанією The Binary Breakdown або його партнером по платформі подкастів. Якщо ви вважаєте, що хтось використовує ваш захищений авторським правом твір без вашого дозволу, ви можете виконати процедуру, описану тут https://uk.player.fm/legal.
This research paper details LinkedIn's solution for optimizing low-latency graph computations within their large-scale distributed graph system. To improve performance, they implemented a modified greedy set cover algorithm to minimize the number of machines needed for processing second-degree connection queries. This optimization significantly reduced latency in constructing network caches and overall graph distance calculations, resulting in a better user experience. The paper also discusses the distributed graph architecture, including its partitioning and caching mechanisms, and compares their approach to related work in distributed graph processing. The improvements achieved demonstrate the effectiveness of the modified set cover algorithm in handling the challenges of large-scale graph queries in a real-world online environment.
https://www.usenix.org/system/files/conference/hotcloud13/hotcloud13-wang.pdf
44 епізодів
Поширити
