frankyzf
V2EX  ›  Local LLM

模型有时会很快返回并且结果错误是什么原因?

  •  
  •   frankyzf · Jan 8, 2025 · 1978 views
    This topic created in 683 days ago, the information mentioned may be changed or developed.

    同样的 prompt ,同样的环境(同一个 service ,没有重启。模型、机器相同,temperature=0 ,top_k=1),大部分情况返回结果是正常的。但发现偶尔会发生返回结果不正常,并且返回比正常的速度要快,正常返回需要大概 5s ,不正常的返回大概 2s 。 请问有哪些因素会造成这种情况?

    3 replies  •  2025-01-08 09:04:03 +08:00
    dddd1919
    dddd1919
    Jan 8, 2025
    1
    模型伐开心,喂点笑话
    frankyzf
    frankyzf
    OP
    Jan 8, 2025
    2
    忘了说,是用的 vllm 作为推理框架
    halov
    halov
    Jan 8, 2025❤️1
    3
    缓存呢
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   999 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 23:24 · PVG 07:24 · LAX 15:24 · JFK 18:24
    ♥ Do have faith in what you're doing.