华为申请的AI模型运行相关专利公布

as22

9月5日消息，据国家知识产权局信息显示，今日，华为技术有限公司申请的“AI模型的运行方法、装置、程序产品和存储介质”专利公布。

该专利申请于2024年3月，申请公布号为CN120596153A。

据专利摘要显示，本公开提供了一种AI模型的运行方法、装置、程序产品和存储介质，属于机器学习技术领域。

该方法应用于主机，主机包括处理器，并连接计算卡，该方法包括：处理器确定AI模型相邻的两组输入数据中在第二数据组中但不在第一数据组中的第一数据，第二数据组在第一数据组之后训练，将第一数据对应的第一嵌入向量预取至处理器的第一内存，并确定第一数据对应的第一嵌入向量信息，在第二数据组在计算卡上处理过程中，根据第一嵌入向量信息将第一嵌入向量从第一内存预取至计算卡的第二内存。采用本公开所示的方案，能够减少嵌入向量搬运带来的处理延时。



值得一提的是， 近日，华为发布了专为昇腾端侧硬件打造的高性能语言模型 ——openPangu Embedded-1B。这款模型虽然只有10亿参数，但却通过软硬件协同设计显著提升了效率和表现力，并在多个权威基准测试中表现亮眼。