Docker启动量化模型的GPU模式 #45

Activity

1. jasonheyh commented on Nov 3, 2023

   

   jasonheyh

   on Nov 3, 2023

   Last edited by jasonheyh

   Author

   More actions

   
   看到在TGI启动的时候，可以加这个参数，但是运行直接就出错了。能帮验证一下吗。

   出错信息：
   
2. ZZR0 commented on Nov 14, 2023

   

   ZZR0

   on Nov 14, 2023

   Collaborator

   More actions

   你好，当前TGI还不支持CodeShell模型的量化部署。