「ローカルLLM」タグアーカイブ

結論 理論通りToken Generation(Decode)ではP100 2枚のの半分くらいの性能が出る。Prompt Processing(Prefill)で57t/s、Token Generationで15t/sと… 続きを読む »