Activation beacon输出乱码

[bestfleer]

hi，我对Activation beacon工作非常感兴趣，想尝试使用hf上的例子跑该模型。但是输出结果是乱码。
使用的例子：
messages = [{"role": "user", "content": "Tell me about yourself."}]
输出：
Input Length: 24
Output: 'system\nYou are a helpful assistant.\nuser\nTell me about yourself.\nassistant\n - 10.00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000'

我使用的transformer版本是4.45.0，fa版本是2.7.2

[OUTHIM]

我也：
Output: 'system\nYou are a helpful assistant.\nuser\nTell me about yourself.\nassistant\n 1. [POSTDOC] Mathematics, Postdoctoral Scholar - Mathematics\nUniversity of California, Santa Barbara, Mathematics Department\n1. [ASSTPROF19] Algebra, ASSISTANT PROFESSOR ALGEBRA\xa0'

[namespace-Pt]

@bestfleer @OUTHIM 感觉是环境问题, 试试关了fa?

[namespace-Pt]

太久远已经忘记当时我的transformers和fa环境..

[Jiangnan0522]

@bestfleer @OUTHIM 感觉是环境问题, 试试关了fa?

谢谢回复，我也遇到相同问题，已经试过关掉Flash attention了，还是生成混乱，这是我load模型的参数。

model = AutoModelForCausalLM.from_pretrained(
    model_path, 
    trust_remote_code=True, 
    torch_dtype=torch.bfloat16, 
    attn_implementation="eager",
    device_map=DEVICE,
    low_cpu_mem_usage=True,
)

用float32依然是异常输出，但是内容不一样。

或许作者可以试试用最新的环境，看看是否能复现这个问题？

[ZhenhanGuan]

@bestfleer @OUTHIM 感觉是环境问题, 试试关了fa?

谢谢回复，我也遇到相同问题，已经试过关掉Flash attention了，还是生成混乱，这是我load模型的参数。

model = AutoModelForCausalLM.from_pretrained(
model_path,
trust_remote_code=True,
torch_dtype=torch.bfloat16,
attn_implementation="eager",
device_map=DEVICE,
low_cpu_mem_usage=True,
)
用float32依然是异常输出，但是内容不一样。

或许作者可以试试用最新的环境，看看是否能复现这个问题？

我也遇到了同样的问题，请问您后续解决了嘛：）

[Jiangnan0522]

@bestfleer @OUTHIM 感觉是环境问题, 试试关了fa?

谢谢回复，我也遇到相同问题，已经试过关掉Flash attention了，还是生成混乱，这是我load模型的参数。
model = AutoModelForCausalLM.from_pretrained(
model_path,
trust_remote_code=True,
torch_dtype=torch.bfloat16,
attn_implementation="eager",
device_map=DEVICE,
low_cpu_mem_usage=True,
)
用float32依然是异常输出，但是内容不一样。
或许作者可以试试用最新的环境，看看是否能复现这个问题？

我也遇到了同样的问题，请问您后续解决了嘛：）

没有解决，后来用他们的代码自己重新训练了，是能跑的。