vLLM v0.28.0：一次省下17GiB顯存、拉快60%回應的推論引擎升級課

'''
模擬 vLLM 新版「推測解碼」加速效果的迷你範例。
不需要 GPU、不需要安裝 vLLM，用純 Python 模擬概念，
讓你直觀感受官方說的「TTFT 快 60%」是怎麼算出來的。
'''

import random

NUM_TOKENS_TO_GENERATE = 50      # 假設要產生 50 個 token 的回覆
BASE_TOKEN_TIME_MS = 40          # 傳統做法：大模型自己一個一個吐字，每個字 40ms
DRAFT_TOKEN_TIME_MS = 8          # 推測解碼：小的「草稿模型」先猜，每個字只要 8ms
VERIFY_BATCH_TIME_MS = 45        # 大模型一次驗證一批猜測，驗證一批要 45ms
DRAFT_BATCH_SIZE = 4             # 草稿模型一次猜 4 個字
ACCEPT_PROBABILITY = 0.7         # 草稿猜對的機率（vLLM 用信心分數動態調整，這裡簡化成固定值）


def baseline_generate(num_tokens):
    return num_tokens * BASE_TOKEN_TIME_MS


def speculative_generate(num_tokens):
    total_time = 0.0
    tokens_done = 0
    random.seed(42)

    while tokens_done < num_tokens:
        batch = min(DRAFT_BATCH_SIZE, num_tokens - tokens_done)

        total_time += batch * DRAFT_TOKEN_TIME_MS
        total_time += VERIFY_BATCH_TIME_MS

        accepted = sum(1 for _ in range(batch) if random.random() < ACCEPT_PROBABILITY)
        if accepted == 0:
            accepted = 1

        tokens_done += accepted

    return total_time


def main():
    baseline_ms = baseline_generate(NUM_TOKENS_TO_GENERATE)
    speculative_ms = speculative_generate(NUM_TOKENS_TO_GENERATE)
    speedup_percent = (baseline_ms - speculative_ms) / baseline_ms * 100

    print('傳統逐字生成：{:.0f} 毫秒'.format(baseline_ms))
    print('推測解碼生成：{:.0f} 毫秒'.format(speculative_ms))
    print('省下的時間：{:.1f}%'.format(speedup_percent))
    print()
    print('提示：把 ACCEPT_PROBABILITY 調低（例如 0.3），')
    print('看看猜測命中率下降時，加速效果會怎麼消失甚至反而變慢。')


if __name__ == '__main__':
    main()

'''
用官方公告的數字，換算「共享專家分片」能幫你的 GPU 叢集省下多少記憶體。
'''

SAVING_PER_GPU_GIB = 17  # 官方數字：每張 GPU 省約 17 GiB


def calc_total_savings(num_gpus, gpu_memory_gib):
    total_saved = SAVING_PER_GPU_GIB * num_gpus
    total_capacity = gpu_memory_gib * num_gpus
    percent = total_saved / total_capacity * 100

    print('叢集規模：{} 張 GPU（每張 {} GiB）'.format(num_gpus, gpu_memory_gib))
    print('省下的記憶體：{} GiB'.format(total_saved))
    print('相當於整個叢集多出 {:.1f}% 的可用空間'.format(percent))
    print('換算：多出來的空間大約可以多撐 {} 張 GPU 的量'.format(total_saved // gpu_memory_gib))


if __name__ == '__main__':
    calc_total_savings(num_gpus=8, gpu_memory_gib=80)