Quantization Collection
Repositories tagged with "quantization"
EPIC
โญ71.7kHP
โ
โ
โ
โ
๐ฎPsychic
โ
โ
โ
โ
LlamaFactory
hiyouga
Pythonagentai
โUnified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)โ
71.7k
8.8k
71.7k
GitPedia Card744/004
EPIC
โญ23.3kHP
โ
โ
โ
โ
๐ฎPsychic
โ
โ
โ
โ
faster-whisper
SYSTRAN
Pythondeep-learninginference
โFaster Whisper transcription with CTranslate2โ
23.3k
1.9k
23.3k
GitPedia Card091/004
RARE
โญ18.9kHP
โ
โ
โ
โ
๐ฎPsychic
โ
โ
โ
Chinese-LLaMA-Alpaca
ymcui
Pythonalpacaalpaca-2
โไธญๆLLaMA&Alpacaๅคง่ฏญ่จๆจกๅ+ๆฌๅฐCPU/GPU่ฎญ็ป้จ็ฝฒ (Chinese LLaMA & Alpaca LLMs)โ
18.9k
1.9k
18.9k
GitPedia Card306/003
RARE
โญ17.5kHP
โ
โ
โ
โ
๐ฆNormal
โ
โ
โ
Qbot
UFund-Me
Jupyter Notebookbacktestbitcoin
โ[๐ฅupdating ...] AI ่ชๅจ้ๅไบคๆๆบๅจไบบ(ๅฎๅ จๆฌๅฐ้จ็ฝฒ) AI-powered Quantitative Investment Research Platform. ๐ online docs: https://ufund-me.github.io/Qbot โจ :news: qbot-mini: https://github.com/Charmve/iQuantโ
17.5k
2.5k
17.5k
GitPedia Card129/003
RARE
โญ8.2kHP
โ
โ
โ
โ
๐ฎPsychic
โ
โ
โ
bitsandbytes
bitsandbytes-foundation
Pythonllmmachine-learning
โAccessible large language models via k-bit quantization for PyTorch.โ
8.2k
858
8.2k
GitPedia Card307/003
RARE
โญ5.6kHP
โ
โ
โ
โ
โ๏ธFighting
โ
โ
โ
pngquant
kornelski
Ccconversion
โLossy PNG compressor โ pngquant command based on libimagequant libraryโ
5.6k
498
5.6k
GitPedia Card607/003
RARE
โญ5.1kHP
โ
โ
โ
โ
๐ฎPsychic
โ
โ
โ
AutoGPTQ
AutoGPTQ
Pythondeep-learninginference
โAn easy-to-use LLMs quantization package with user-friendly apis, based on GPTQ algorithm.โ
5.1k
542
5.1k
GitPedia Card389/003
UNCOMMON
โญ4.5kHP
โ
โ
โ
โ
๐ฅFire
โ
โ
CTranslate2
OpenNMT
C++avxavx2
โFast inference engine for Transformer modelsโ
4.5k
491
4.5k
GitPedia Card886/002
UNCOMMON
โญ4.0kHP
โ
โ
โ
โ
๐ฎPsychic
โ
โ
turbovec
RyanCodrai
Pythonannavx512
โA vector index built on TurboQuant, written in Rust with Python bindingsโ
4.0k
381
4.0k
GitPedia Card324/002
UNCOMMON
โญ3.9kHP
โ
โ
โ
โ
๐ฎPsychic
โ
โ
nunchaku
nunchaku-ai
Pythoncomfyuidiffusion-models
โ[ICLR2025 Spotlight] SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Modelsโ
3.9k
256
3.9k
GitPedia Card673/002
UNCOMMON
โญ3.4kHP
โ
โ
โ
โ
๐ฎPsychic
โ
โ
optimum
huggingface
Pythongraphcorehabana
โ๐ Accelerate inference and training of ๐ค Transformers, Diffusers, TIMM and Sentence Transformers with easy to use hardware optimization toolsโ
3.4k
646
3.4k
GitPedia Card057/002
UNCOMMON
โญ3.4kHP
โ
โ
โ
โ
๐ฆNormal
โ
โ
SageAttention
thu-ml
Cudaattentioncuda
โ[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention achieves speedup of 2-5x compared to FlashAttention, without losing end-to-end metrics across language, image, and video models.โ
3.4k
426
3.4k
GitPedia Card575/002
UNCOMMON
โญ3.3kHP
โ
โ
โ
โ
๐ฎPsychic
โ
โ
llm-compressor
vllm-project
Pythoncompressionquantization
โTransformers-compatible library for applying various compression algorithms to LLMs for optimized deployment with vLLMโ
3.3k
529
3.3k
GitPedia Card917/002
UNCOMMON
โญ3.2kHP
โ
โ
โ
โ
๐ฎPsychic
โ
โ
Pretrained-Language-Model
huawei-noah
Pythonknowledge-distillationlarge-scale-distributed
โPretrained language model and its related optimization techniques developed by Huawei Noah's Ark Lab.โ
3.2k
641
3.2k
GitPedia Card908/002
UNCOMMON
โญ3.2kHP
โ
โ
โ
โ
๐ฎPsychic
โ
โ
deepsparse
neuralmagic
Pythoncomputer-visioncpus
โSparsity-aware deep learning inference runtime for CPUsโ
3.2k
192
3.2k
GitPedia Card916/002
UNCOMMON
โญ2.9kHP
โ
โ
โ
โ
๐ฎPsychic
โ
โ
nlp-architect
IntelLabs
Pythonbertdeep-learning
โA model library for exploring state-of-the-art deep learning topologies and techniques for optimizing Natural Language Processing neural networksโ
2.9k
443
2.9k
GitPedia Card925/002
UNCOMMON
โญ2.9kHP
โ
โ
โ
โ
๐ฎPsychic
โ
โ
ComfyUI-nunchaku
nunchaku-ai
Pythoncomfyuidiffusion
โComfyUI Plugin of Nunchakuโ
2.9k
161
2.9k
GitPedia Card007/002
UNCOMMON
โญ2.8kHP
โ
โ
โ
โ
๐ฎPsychic
โ
โ
ao
pytorch
Pythonbrrrcuda
โPyTorch native quantization and sparsity for training and inferenceโ
2.8k
510
2.8k
GitPedia Card307/002