Chonky:一个完全基于神经网络的文本分块工具
Chonky:一个完全基于神经网络的文本分块工具。它能将文本智能分割成有意义的语义块,帮助你更高效地处理和理解长文本。
亮点:
使用Transformer模型,精准分块;支持RAG系统,拓展应用范围;一行代码即可完成安装,简单易用。

参考文献:[1] https://github.com/mirth/chonky[2] https://huggingface.co/mirth/chonky_distilbert_base_uncased_1
[广告]赞助链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
让资讯触达的更精准有趣:https://www.0xu.cn/
关注KnowSafe微信公众号随时掌握互联网精彩
- json-render – Vercel开源的AI生成UI渲染可控方案
- 网最低价SSL证书iTrustSSL的三大核心竞争力
- SiteOneCrawler一款简单易用、功能强大的网站分析工具
- 骁龙新品发布,敬请期待
- 新春快乐,万事顺意
- Java 19 正式发布,七大特性齐发,最常用的还是 Java 11!
- 雷军再失猛将,小米12号创始员工李伟星离职,曾一起喝粥创立小米;英特尔54亿美元收购Tower半导体|极客头条
- 炎凰数据:一篇文章教你用读时建模搞定异构数据
- CSS实现各种Loading效果附带解析
- 华为代码贡献排名第一,小米 11 内核开源,中国 AI 足球队夺冠 | 开发者周刊
- @所有技术人,快来翻开属于你的2021定制日历!
- 网络尖刀品牌升级2021年组织结构公示
赞助链接



