Chonkie - легка та швидка бібліотека для розбиття тексту на чанки для RAG-застосунків! Ця бібліотека пропонує простий у використанні інтерфейс та підтримує різні методи чанкінгу, включаючи TokenChunker, WordChunker, SentenceChunker та інші. Chonkie займає всього 11.2 МБ при встановленні за замовчуванням і працює до 33 разів швидше за альтернативи при токенізації. Бібліотека підтримує популярні токенізатори та пропонує гнучкі налаштування для різних сценаріїв використання. Якщо ви працюєте з RAG-системами та шукаєте ефективний інструмент для чанкінгу, Chonkie може стати чудовим вибором!

#Python, #RAG

@sourcefuture