Chonkie - легка та швидка бібліотека для розбиття тексту на чанки для RAG-застосунків! Ця бібліотека пропонує простий у використанні інтерфейс та підтримує різні методи чанкінгу, включаючи TokenChunker, WordChunker, SentenceChunker та інші. Chonkie займає всього 11.2 МБ при встановленні за замовчуванням і працює до 33 разів швидше за альтернативи при токенізації. Бібліотека підтримує популярні токенізатори та пропонує гнучкі налаштування для різних сценаріїв використання. Якщо ви працюєте з RAG-системами та шукаєте ефективний інструмент для чанкінгу, Chonkie може стати чудовим вибором!

#Python, #RAG

@sourcefuture

llmtop - це інноваційний інструмент моніторингу системи, що поєднує аналіз метрик у реальному часі з потужністю LLM. Він надає динамічний термінальний інтерфейс, який відображає показники продуктивності системи, доповнені AI-аналізом. Основні функції включають:

• Моніторинг CPU, пам'яті, диску та мережі в реальному часі
• Відстеження процесів та їх ресурсоспоживання
• AI-аналіз системи за допомогою OpenAI або Ollama
• Розумна система сповіщень про перевищення порогів ресурсів
• Динамічний термінальний UI з автооновленням метрик

llmtop підтримує два LLM-бекенди: OpenAI (GPT-4) та Ollama з Llama 3.2 3B. Інструмент легко встановлюється через pip та має гнучкі налаштування через командний рядок.

#Python

@sourcefuture