BigDL-LLM

BigDL-LLM是基于英特尔 XPU（如CPU、GPU）平台的开源大模型加速库，它使用低比特优化（如FP4/INT4/NF4/FP8/INT8）及多种英特尔 CPU/GPU集成的硬件加速技术，以极低的延迟运行和微调大语言模型。

BigDL-LLM支持标准的PyTorch API（如 HuggingFace Transformers 和 LangChain）和大模型工具（如HuggingFace PEFT、DeepSpeed、vLLM等），可助力 AI 开发者和研究者在英特尔平台（笔记本、工作站、服务器和GPU）上高效开发、加速大语言模型算法和应用。

官网样例

按照官网给定的快速实践样例， 借助 BigDL-LLM 完成模型加速优化的过程异常简单，只需更改一行代码，就可以立即观察到显著的加速效果。

我们选择的模型是ChatGLM3-6b，这是官网给出的样例。

import torch
import time
import argparse
import numpy as np

from bigdl.llm.transformers import AutoModel
from transformers import AutoTokenizer

# you could tune the prompt based on your own model,
# here the prompt tuning refers to https://github.com/THUDM/ChatGLM3/blob/main/PROMPT.md
CHATGLM_V3_PROMPT_FORMAT = "<|user|>\n{prompt}\n<|assistant|>"

if __name__ == '__main__':
    parser = argparse.ArgumentParser(description='Predict Tokens using `generate()` API for ChatGLM3 model')
    parser.add_argument('--repo-id-or-model-path', type=str, default="THUDM/chatglm3-6b",
                        help='The huggingface repo id for the ChatGLM3 model to be downloaded'
                             ', or the path to the huggingface checkpoint folder')
    parser.add_argument('--prompt', type=str, default="AI是什么？",
                        help='Prompt to infer')
    parser.add_argument('--n-predict', type=int, default=32,
                        help='Max tokens to predict')

    args = parser.parse_args()
    model_path = args.repo_id_or_model_path

    # Load model in 4 bit,
    # which convert the relevant layers in the model into INT4 format
    model = AutoModel.from_pretrained(model_path,
                                      load_in_4bit=True,
                                      trust_remote_code=True)

    # Load tokenizer
    tokenizer = AutoTokenizer.from_pretrained(model_path,
                                              trust_remote_code=True)
    
    # Generate predicted tokens
    with torch.inference_mode():
        prompt = CHATGLM_V3_PROMPT_FORMAT.format(prompt=args.prompt)
        input_ids = tokenizer.encode(prompt, return_tensors="pt")
        st = time.time()
        output = model.generate(input_ids,
                                max_new_tokens=args.n_predict)
        end = time.time()
        output_str = tokenizer.decode(output[0], skip_special_tokens=True)
        print(f'Inference time: {
      end-st} s')
        print('-'*20, 'Prompt', '-'*20)
        print(prompt)
        print('-'*20, 'Output', '-'*20)
        print(output_str)

从这段代码，的确能感受到 BigDL-LLM 的便捷性。

• 针对hugging-face的 transformers 库进行优化，只需要导入bigdl.llm.transformers中类似的AutoModel类，就可以实现轻量加载。
• BigDL-LLM 为开发人员提供了简洁的接口，完成文本生成只需要使用model.generate()方法。

实践部分

封装类

为了便于后续的开发使用，我们将其封装为一个类。可以看到，代码非常简洁明了。(当然，目前是比较原始的版本，还未做异常处理和更完善的设计)。

class ChatGLM3Extractor(object):
    """
    Generate text
    by ChatGLM-3-6b and optimized by BigDL-LLM.
    """

    def __init__(self, model_path):
        # define chatglm-3 prompt with conversation
        self.CHATGLM_V3_PROMPT_FORMAT_TEMPLATE = "<|user|>\n{prompt}\n<|assistant|>"
        # loading 4 bit glm-3 model
        self.model = AutoModel.from_pretrained(model_path,
                                               load_in_4bit=True,
                                               trust_remote_code=True)
        self.tokenizer = AutoTokenizer.from_pretrained(model_path,
                                                       trust_remote_code=True)

    def extract(self, res_result, prefix_string=""):
        """extract useful numeric field"""
        # prompt creating
        prompt = f'{
      res_result}。{
      prefix_string}'
        n_predict = 512
        with torch.inference_mode():
            # chatglm-3 inference
            prompts = self.CHATGLM_V3_PROMPT_FORMAT_TEMPLATE.format(prompt=prompt)
            input_ids = self.tokenizer.encode(prompts, return_tensors="pt")
            st = time.time()
            output = self.model.generate(input_ids,
                                         max_new_tokens=n_predict)
            end = time.time()
            output_str = self.tokenizer.decode(output[0], skip_special_tokens=True)
            print(f'Inference time: {
      end - st} s')
            print('-' * 20, 'Prompt', '-' * 20)
            print(prompts)
            print('-' * 20, 'Output', '-' * 20)
            print(output_str)
            return output_str

测试代码

测试部分，我们加载开源的模型权重。询问模型 “BigDL-LLM是什么？” 。

chatglm3_model = ChatGLM3Extractor("./chatglm3-6b")

question = "BigDL-LLM是什么？"
response = chatglm3_model.extract(res)

测试效果

我们直接在CPU设备上加载模型并进行推理，我们的CPU规格是Intel Xeon Gold 5218 (6) @ 2.294GHz。

无论是效果还是性能，都是不错的。

有些人可能认为12s的推理速度是否过慢，但理论上来说，这已经足够快了。原因主要有两点，

• 推理全部在CPU设备进行；
• 我们采用的是同步输出结果的方式，即得到答案才输出完整文本，而实际使用中，更多的是流式输出，即逐字输出。

总结

整体而言，我们对 BigDL-LLM 的实践过程流畅如行云流水，过程中并未遇到任何阻碍。毫无疑问，BigDL-LLM 作为一个开源库的可行性得到了验证，其简洁的开发使用方式显著提升了开发人员的效率。

然而，尽管 BigDL-LLM 有其优点，但我们也发现了一些不足之处：

• 适配性不足

  我们对Qwen的多个版本进行了测试，发现其中一些版本并未得到优化。这可能是由于模型设计时的问题（例如，Qwen的某个版本在预训练时已经使用了量化加速方法，该方法需要在GPU设备上进行加速，但我们在CPU设备上加载并测试了该模型），导致该模型无法被 BigDL-LLM 加速。当然，这也可能是 BigDL-LLM 本身在适配性上的缺陷。

• 模型性能下降

  当我们使用原始的 transformers 库测试ChatGLM3-6b时，我们发现其生成效果似乎优于经过 BigDL-LLM 加速后的版本。虽然我们知道加速版本的性能可能会有所下降，但有时候性能的下降过于明显，甚至有时生成的内容与提问的内容完全不符。

相关链接

transformers ：https://github.com/huggingface/transformers

ChatGLM3-6b：https://www.modelscope.cn/models/ZhipuAI/chatglm3-6b/summary

BigDL-LLM 的官方样例：https://github.com/intel-analytics/BigDL/blob/main/python/llm/example/CPU/HF-Transformers-AutoModels/Model