이 모델은 2026-10-16에 Hugging Face Transformers에 기여되었습니다.

Beam

개요

Beam은 Reflection의 첫 번째 오픈 웨이트 모델로, 총 501B 파라미터와 토큰당 활성 23B 파라미터를 가진 희소 mixture-of-experts(MoE) 언어 모델입니다. 코딩, 추론, 에이전트 워크로드를 위해 구축되었으며, 23.8T 토큰으로 사전 학습되고 대규모 비동기 강화 학습으로 사후 학습되었습니다. Beam은 텍스트 전용이며, 모든 답변 전에 추론을 수행합니다. 채팅 템플릿의 추론 노력 설정으로 추론의 정도를 조절할 수 있습니다.

Beam은 52개의 decoder 레이어를 갖추고 있으며 다음 기능을 결합합니다:

• 하이브리드 슬라이딩 및 전체 어텐션. 6번째 층과 마지막 층은 전체 어텐션을 사용하고, 나머지 층은 최근 sliding_window(512) 토큰에 어텐션을 적용합니다. layer_types가 이 패턴을 설정합니다.
• 슬라이딩 레이어에는 RoPE, 전체 레이어에는 NoPE를 적용합니다. rope_parameters은 레이어 유형을 키로 사용하며, None은 위치 인코딩이 없는 레이어 유형을 나타냅니다. 전체 어텐션 레이어는 쿼리를 스케일링합니다(스케일어블 softmax): 1-based 위치 n의 쿼리는 (1 + n / 2048) ** 0.1을 곱하며, 이를 통해 컨텍스트가 커져도 어텐션이 평탄해지지 않도록 합니다.
• 게이트드 어텐션. 48개의 쿼리 헤드와 8개의 키/밸류 헤드를 사용하는 그룹드 쿼리 어텐션이며, 각 쿼리 및 키 헤드에 RMSNorm을 적용합니다. 어텐션 입력에서 계산된 시그모이드 게이트는 헤드별 학습된 바이어스를 가지며, 출력 투영 전에 어텐션 출력을 요소별로 스케일링합니다.
• Sparse MoE. 첫 3개 레이어는 dense SwiGLU MLP를 사용하고, 나머지 49개 레이어는 각 토큰을 256개 전문가 중 8개로 라우팅하며 공유 전문가가 없습니다(mlp_layer_types가 패턴을 설정합니다). 라우터는 시그모이드로 전문가를 점수화하고, 보조 손실 대신 학습된 전문가별 바이어스로 부하를 균형 있게 조절하며, 각 토큰을 n_group개 전문가 그룹 중 최상위 topk_group개 그룹으로 제한합니다. 라우팅 가중치는 정규화되며, MoE 출력은 routed_scaling_factor로 스케일링됩니다.
• 깊이에 따라 스케일링된 잔차와 샌드위치 노름. 각 attention 및 MLP 블록은 앞뒤로 RMSNorm으로 감싸집니다. 잔차 가산은 k개의 기여(임베딩을 첫 번째로 계산) 이후, 잔차 스트림이 해당 기여들의 합을 sqrt(k)로 나눈 값이 되도록 다시 스케일링됩니다.
• 최종 logit softcapping. Logit은 30 * tanh(logits / 30)(final_logit_softcapping)로 제한됩니다.

구현에서는 Beam이 학습 및 서빙될 때 사용된 수치와 일치하도록 RMSNorm 스케일링, SwiGLU 활성화 함수, RoPE, 쿼리 스케일링, 라우팅, softcapping을 FP32로 계산합니다. 라우터 가중치와 전문가 바이어스는 로드 시점에 FP32로 유지되며, 반환되는 logits는 항상 FP32입니다.

모든 원본 Beam 체크포인트는 Reflection 조직에서 찾을 수 있습니다.

이 모델은 yonigozlan이(가) 기여했습니다.

사용 예시

Beam의 chat template은 대화를 Beam의 Harmony 형식으로 포맷하며, response template은 생성된 텍스트를 thinking, content, tool_calls 필드를 가진 메시지로 다시 파싱합니다. 아래 예제는 Pipeline 또는 AutoModelForCausalLM 클래스를 사용하여 응답을 생성합니다.

BF16 체크포인트는 약 1 TB 크기이므로, 예제에서는 expert parallelism을 사용하여 전체 라우팅된 expert를 각 장치에 배치하는 방식으로 8개 장치에 걸쳐 샤딩합니다. torchrun --nproc-per-node 8 <script.py>로 실행하세요.

from transformers import DistributedConfig, pipeline

pipe = pipeline(
    task="text-generation",
    model="reflection/Beam-1.0-501B-A23B",
    model_kwargs={"distributed_config": DistributedConfig(tp_size=8, ep_size=8)},
)

messages = [{"role": "user", "content": "Explain in one sentence why the sky is usually blue."}]
output = pipe(messages, max_new_tokens=2048)
reply = output[0]["generated_text"][-1]
print(reply["thinking"])
print(reply["content"])

from transformers import AutoModelForCausalLM, AutoTokenizer, DistributedConfig

model_id = "reflection/Beam-1.0-501B-A23B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, distributed_config=DistributedConfig(tp_size=8, ep_size=8))

messages = [{"role": "user", "content": "Explain in one sentence why the sky is usually blue."}]
inputs = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, return_tensors="pt", return_dict=True, reasoning_effort="low"
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=2048)
generated = tokenizer.decode(outputs[0, inputs["input_ids"].shape[1] :])
message = tokenizer.parse_response(generated, prefix=inputs["input_ids"][0])
print(message["thinking"])
print(message["content"])

device_map="auto"는 각 장치에 전체 레이어를 배치하고 한 번에 하나의 장치에서 실행하며, 로딩 중 메모리가 부족해질 수 있으므로 이 방법을 사용하는 것이 좋습니다.

temperature=0.7 및 top_p=0.99를 사용하여 생성 샘플을 생성합니다. 이는 체크포인트의 GenerationConfig가 기본값으로 설정한 값입니다. do_sample=False를 전달하여 그리디 디코딩을 수행합니다.

추론 노력

reasoning_effort를 apply_chat_template()에 전달하여 Beam의 추론 정도를 제어할 수 있습니다. 정수 예산 또는 아래 라벨 중 하나를 받을 수 있습니다. Beam은 8 미만의 effort로 학습되지 않았으므로, 더 작은 값은 반영되지 않습니다.

reasoning_effort가 설정되지 않은 경우 템플릿은 max를 사용합니다. 추론 도중 max_new_tokens가 소진되면, 파싱된 메시지에는 thinking만 있고 content는 없습니다.

다중 턴 대화

해석된 메시지를 그대로 히스토리에 추가합니다. Beam의 출력은 이전 추론이 없으면 성능이 저하되며, 채팅 템플릿은 thinking에서 이를 읽습니다(reasoning_content와 reasoning도 허용됩니다). 기본적으로 추론이 없는 어시스턴트 턴은 빈 추론 블록으로 렌더링됩니다. Beam을 서빙할 때 권장되는 add_generation_prompt=True가 설정된 경우, allow_missing_thinking=False를 전달하여 대신 오류를 발생시킬 수 있습니다.

messages.append(message)
messages.append({"role": "user", "content": "And why are sunsets red?"})
inputs = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, return_tensors="pt", return_dict=True
).to(model.device)

Tool calling

tools를 apply_chat_template()과 parse_response()에 모두 전달하세요. tools가 있으면 파싱된 인수는 각 tool의 스키마에 정의된 타입으로 캐스팅되고, 없으면 모든 인수가 문자열이 됩니다.

def get_weather(city: str):
    """
    Get the current weather in a city.

    Args:
        city: The city name.
    """
    return "Sunny, 22 C"


messages = [{"role": "user", "content": "What's the weather like in Paris right now?"}]
inputs = tokenizer.apply_chat_template(
    messages, tools=[get_weather], add_generation_prompt=True, return_tensors="pt", return_dict=True
).to(model.device)
outputs = model.generate(**inputs, max_new_tokens=2048)
generated = tokenizer.decode(outputs[0, inputs["input_ids"].shape[1] :])
message = tokenizer.parse_response(generated, prefix=inputs["input_ids"][0], tools=[get_weather])
print(message["tool_calls"])
# [{'type': 'function', 'function': {'name': 'get_weather', 'arguments': {'city': 'Paris'}}}]

messages.append(message)
for call in message["tool_calls"]:
    result = get_weather(**call["function"]["arguments"])
    messages.append({"role": "tool", "name": call["function"]["name"], "content": result})

이후 messages에서 다시 생성하여 최종 답변을 얻습니다. 파싱된 tool call에는 id가 없으며, 포맷은 위치를 기준으로 결과를 호출에 매칭하므로 tool 결과를 호출 순서대로 반환해야 합니다. 생성은 최종 답변(<|return|>) 또는 tool call(<|call|>) 이후에 중단되며, generation_config.json에는 이 두 가지가 모두 나열되어 있습니다.

스트리밍의 경우, get_response_parser()는 생성되는 텍스트 청크를 feed()로 전달하는 파서를 반환합니다. 자세한 내용은 응답 파싱을 참조하세요.

The input is a single word "Notes". 참고

• 템플릿 인자. reasoning_effort 외에도 채팅 템플릿은 model_identity(시스템 메시지의 첫 번째 줄을 대체), builtin_tools, allow_missing_thinking를 허용합니다. builtin_tools에는 search와 browse 도구만 지정할 수 있으며, Beam이 학습된 정의와 일치해야 합니다. 기타 도구는 tools만 필요합니다. system 및 developer 메시지는 대화의 시작 부분에서만 렌더링됩니다.
• 학습. 채팅 템플릿은 apply_chat_template(..., return_dict=True, return_assistant_tokens_mask=True)에서 어시스턴트 출력을 표시하므로, TRL의 SFTConfig(assistant_only_loss=True)는 어시스턴트 토큰만 대상으로 학습합니다. 이 마스크는 각 어시스턴트 턴의 추론, 답변, 도구 호출을 모두 포함합니다.
• 보조 손실이 없습니다. 라우터가 바이어스를 통해 전문가 부하를 균형 있게 조절하므로, BeamForCausalLM은 부하 균형 손실을 계산하지 않습니다. output_router_logits=True를 사용하면 여전히 라우터 로짓을 반환합니다.

BeamConfig

>>> from transformers import BeamConfig

>>> # Initializing a Beam configuration
>>> configuration = BeamConfig()

BeamModel

BeamForCausalLM