丨内容简介

本文作者是Hugging Face 的机器学习工程师Regs Plerrard,并于 2023 年3月 28 日发布于 Hugging Face Blog。感谢 Regis Pierrard授权了我们翻译和转发本文。

本文介绍了如何在 Habana”Gaudi2i上轻部警参数量多达十亿的语言模型，披露了 Hugging Face针对BLOOMZ 在 Gaudi2上的性能评估结果。

随着大语言模型(Large Language Model, LLM) 的规模来越大，在生产环境部和使用这些模型来进行推理也变得越来越具挑战性,为应对这些挑战，无论硬件还是软件，都经历了多次创新。下面，我们将一同探索如何有效克服这些挑战.