Google сжал память ИИ в 6 раз без потери точности


Специалисты из Google Research представили широкой публике свою новую разработку под названием TurboQuant. Речь идет об алгоритме сжатия, который не требует предварительного обучения и способен квантовать кэш-память KV у крупных языковых моделей вплоть до 3 бит без какого-либо ущерба для точности. Примечательно, что тестирование проводилось на видеокартах Nvidia H100, и результаты оказались весьма впечатляющими. Четырехбитная