专利号：CN202010785947.3
专利名称：基于Kafka的分布式数据流分级缓存自动迁移算法
申请日：2020/8/7
专利类型：授权发明
支付方式：入门费和提成费相结合
支付标准：入门费为5万元; 提成费按当年度合同产品净销售额的10% 提取
开放许可期限：3年
所属分类：人工智能
项目详情：本发明属于大数据存储领域，涉及一种基于Kafka的分布式数据流分级缓存自动迁移方法。根据Kafka数据访问的特点，设计了热数据的存储结构，不仅减少了存储空间，而且能够根据该结构来管理热数据的元数据信息。根据热数据的结构，提出了结合访问热度和迁移频率的数据自动迁移方法(HHF‑Migrate)，系统会根据该数据识别方法计算所有TopicPartition数据的访问热度和迁移频率，自动将热度和频率低的冷数据从SSD迁移至HDD，而HDD中热度和频率高的热数据将自动迁移至SSD，从未实现分级缓存。本发明设计的系统提升了Kafka的吞吐量，提供较低的延迟并减少存储成本。
联系人：成雅剑
电话：83671445