Introducing DBRX: A New State-of-the-Art Open LLM

원문

https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm?utm_source=pytorchkr

Introducing DBRX: A New State-of-the-Art Open LLM | Databricks

 

번역

오늘은 Databricks에서 만든 개방형 범용 LLM인 DBRX를 소개하게 되어 기쁘게 생각합니다. 다양한 표준 벤치마크에서 DBRX는 기존 개방형 LLM에 대한 새로운 최첨단 기술을 설정합니다. 또한 이전에는 폐쇄형 모델 API로 제한되었던 기능을 자체 LLM을 구축하는 개방형 커뮤니티와 기업에 제공합니다. 측정에 따르면 GPT-3.5를 능가하며 Gemini 1.0 Pro와 경쟁이 가능합니다. 범용 LLM으로서의 강점에 더해 프로그래밍 측면에서 CodeLLaMA-70B와 같은 특수 모델을 능가하는 특히 유능한 코드 모델입니다.

이러한 최첨단 품질은 훈련 및 추론 성능이 크게 향상되었습니다. DBRX는 세분화된 전문가 혼합(MoE) 아키텍처 덕분에 개방형 모델 간의 효율성 측면에서 최첨단 기술을 발전시켰습니다. 추론은 LLaMA2-70B보다 최대 2배 빠르며, DBRX는 전체 및 활성 매개변수 수 측면에서 Grok-1 크기의 약 40%입니다. 모자이크 AI 모델 서비스에 호스팅되면 DBRX는 최대 150톡/초/사용자의 속도로 텍스트를 생성할 수 있습니다. 고객은 MoE 교육이 동일한 최종 모델 품질에 대해 밀집 모델 교육보다 FLOP 효율성이 약 2배 더 높다는 것을 알게 될 것입니다. 엔드 투 엔드 DBRX에 대한 전반적인 레시피(사전 훈련 데이터, 모델 아키텍처 및 최적화 전략 포함)는 거의 4배 적은 컴퓨팅으로 이전 세대 MPT 모델의 품질과 일치할 수 있습니다.

Quality on Benchmarks vs. Leading Open Models

Table 1. Quality of DBRX Instruct and leading open models. See footnotes for details on how numbers were collected. Bolded and underlined is the highest score.

 

표 1은 DBRX Instruct와 선도적인 확립된 개방형 모델의 품질을 보여줍니다. DBRX Instruct는 복합 벤치마크, 프로그래밍 및 수학 벤치마크, MMLU의 선두 모델입니다. 이는 표준 벤치마크에서 모든 채팅 또는 지침 미세 조정 모델을 능가합니다.

복합 벤치마크. Hugging Face Open LLM Leaderboard(ARC-Challenge, HellaSwag, MMLU, TruthfulQA, WinoGrande 및 GSM8k의 평균)와 Databricks Model Gauntlet(6개에 걸쳐 30개 이상의 작업 모음)이라는 두 가지 복합 벤치마크에서 DBRX Instruct와 동료를 평가했습니다. 범주: 세계 지식, 상식 추론, 언어 이해, 독해, 상징적 문제 해결 및 프로그래밍).

우리가 평가한 모델 중 DBRX Instruct는 Hugging Face Open LLM Leaderboard(다음으로 높은 모델인 Mixtral Instruct의 경우 74.5% 대 72.7%)와 Databricks Gauntlet(66.8% 대 60.7%)의 두 가지 복합 벤치마크에서 가장 높은 점수를 받았습니다. 다음으로 높은 모델인 Mixtral Instruct).

프로그래밍과 수학. DBRX Instruct는 특히 프로그래밍과 수학에 강합니다. HumanEval(Grok-1의 경우 70.1% 대 63.2%, Mixtral Instruct의 경우 54.8%, 최고 성능 LLaMA2-70B 변형의 경우 32.2%) 및 GSM8k(66.9% 대 Grok-1)에서 평가한 다른 개방형 모델보다 높은 점수를 받았습니다. Grok-1의 경우 62.9%, Mixtral Instruct의 경우 61.1%, 최고 성능의 LLaMA2-70B 변형의 경우 54.1%). DBRX는 Grok-1이 2.4배 더 많은 매개변수를 가지고 있음에도 불구하고 이러한 벤치마크에서 차선책인 Grok-1보다 성능이 뛰어납니다. HumanEval에서 DBRX Instruct는 DBRX Instruct가 범용 용도로 설계되었다는 사실에도 불구하고 프로그래밍을 위해 명시적으로 구축된 모델인 CodeLLaMA-70B Instruct를 능가합니다(CodeLLaMA 블로그의 Meta에서 보고한 대로 HumanEval의 70.1% 대 67.8%). .

MMLU. DBRX Instruct는 MMLU에서 고려하는 다른 모든 모델보다 높은 점수(73.7%)를 기록했습니다.

 

참고

https://discuss.pytorch.kr/t/dbrx-databricks-open-llm/3877

DBRX, databricks가 공개한 새로운 Open LLM

 

간단한 사용

https://huggingface.co/spaces/databricks/dbrx-instruct?utm_source=pytorchkr

DBRX Instruct - a Hugging Face Space by databricks

 

사용 코드

https://huggingface.co/databricks/dbrx-base

databricks/dbrx-base · Hugging Face

 

from transformers import AutoTokenizer, AutoModelForCausalLM

import torch

tokenizer = AutoTokenizer.from_pretrained("databricks/dbrx-instruct", trust_remote_code=True, token="Your Token here")

model = AutoModelForCausalLM.from_pretrained("databricks/dbrx-instruct", device_map="cpu", torch_dtype=torch.bfloat16, trust_remote_code=True, token="Your Token here")

input_text = "What does it take to build a great LLM?"

messages = [{"role": "user", "content": input_text}]

input_ids = tokenizer.apply_chat_template(messages, return_dict=True, tokenize=True, add_generation_prompt=True, return_tensors="pt")

outputs = model.generate(**input_ids, max_new_tokens=200)

print(tokenizer.decode(outputs[0]))

# 자신의 hugging face 토큰 넣어줘야 합니다. # 모델 다운로드 용량이 생각보다 꽤 필요합니다.