Googles TurboQuant komprimerer LLM-hukommelse 6x

Googles TurboQuant er en AI-komprimeringsalgoritme, der reducerer hukommelsesforbruget for store sprogmodeller (LLM) op til seks gange uden at forringe outputkvaliteten. I modsætning til mange eksisterende metoder bevarer den nøjagtighed, hvilket øger effektiviteten, muliggør kørsel af større modeller på begrænset hardware og kan sænke driftsomkostninger og inferenstider.