軽量なRAGテキスト分割ツール「chonkie」。Token分割の処理速度が他のツールと比べて33倍速いです。
さまざまな分割方法に対応しており、Tokenベース、単語ベース、文ベース、意味ベース、さらに意味の二重チャンネル分割が可能です。
デフォルトのインストールサイズはわずか21MB（他の同類製品は80〜171MB必要）。
すべての主要なトークナイザーに対応しています。
GitHub: https://github.com/bhavnicksm/chonkie
軽量なRAGテキスト分割ツール「chonkie」