Current state: Under Discussion
ISSUE: https://github.com/milvus-io/milvus/issues/9481
PRs:
Keywords: load balance, handoff, query node, query coord, sealed segment
Released:
Summary
这篇文章主要介绍为什么需要在querynode上handoff和load balance segment,以及提出一种解决方案讨论如何在不中断查询的情况下handoff和load balance segment
Motivation
- 在load collection/partition过程中,query nodes不仅要加载sealed segments,而且要watch dmChannels然后才能接收到实时插入的向量,如果load collection后持续插入新的向量,query node就会产生大量的growing segments,这些growing segments只能以近乎暴搜的方式服务查询请求。与此同时,datanode可能已经将这些数据flush到持久化存储中并创建好相应索引
- query nodes在动态扩缩容的过程中