Langchian-ChatGLM安装部署 ChatGLM2-6B微调微调工具本次我们使用ChatGLM-Efficient-Tuning,基于 🤗PEFT 的高效 🤖ChatGLM-6B 微调工具 目前实现了针对以下高效微调方法的支持: LoRA 仅微调低秩适应器。 P-Tuning V2 仅微调前缀编码器。 Freeze Tuning 仅微调后几层的全连接层。 全量微调 微调模型所有参数。 本次我们使用LoRA微 2023-07-10 机器学习 #NLP #ChatGLM #Fine-Tuning
Windows环境使用Docker本地部署和微调CPM-Bee Windows环境使用Docker本地部署和微调CPM-Bee这几天想尝试下OPENBMB的的CPM-Bee模型,本来打算在临时买的腾讯云GPU服务器上跑一下,但是安装依赖的时候发现一堆奇怪的问题,看了下github的issue,大部分都是bmtrain安装出现问题,且由于他使用的torch版本比较旧,不支持2.0.0+,所以只能改为尝试在本地docker隔离环境跑通再说. 拉取pytorch镜像 2023-06-28 机器学习 #NLP #LLM
Langchian-ChatGLM安装部署 Langchian-ChatGLM安装部署介绍Langchain-ChatGLM项目是一种利用 langchain 思想实现的基于本地知识库的问答应用,目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案. 本项目实现原理如下图所示,过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与 2023-06-17 机器学习 #NLP #ChatGLM #Langchain #llm
FlinkSQL-基于jdbc的自定义Catalog FlinkSQL-基于jdbc的自定义Catalog本文将介绍如何在FlinkSQL中使用基于jdbc的自定义Catalog。 什么是Catalog?Catalog是一个用于管理数据库和表的元数据存储系统。在FlinkSQL中,Catalog用于描述Flink集群中的数据库和表。FlinkSQL支持多种类型的Catalog,如默认基于内存的GenericInMemoryCatalog,基于Hive 2023-03-19 大数据 #java #flink
基于k8s部署Session模式Flink集群 基于k8s部署Session模式Flink集群在分布式计算领域中,Apache Flink是一个快速、可靠且易于使用的计算引擎。Flink集群是一个分布式系统,它由Flink JobManager和多个Flink TaskManager组成。部署Flink集群时,高可用性是非常重要的一个考虑因素。在本文中,我们将介绍如何基于kubernetes(k8s)部署高可用Session模式的Flink集群 2023-03-14 大数据 #k8s #flink
docker和k8s基础知识分享 Docker什么是docker docker是一个开源的软件部署解决方案; docker也是轻量级的应用容器框架; docker可以打包、发布、运行任何的应用(Build,Ship,Run anywhere)。 Docker 的基础是 Linux 容器(LXC)等技术。在 LXC 的基础上 Docker 进行了进一步的封装,让用户不需要去关心容器的管理,使得操作更为简便。用户操作 Docker 的 2021-11-13 容器 #k8s #docker #容器
kotlin使用spring-data-jpa+query-dsl踩坑记录 背景 使用kotlin+springboot+spring-data-jpa搭建的项目,在引入query-dsl依赖来提供通用查询服务时出现以下错误: 原来的代码Entity1234567891011@Entity@Tableclass User { var username: String ? =null @Id @GeneratedValue(strategy 2021-11-13 后端 #kotlin #spring-boot
EasyExcel导出excel实战(续) 接上一篇Easyexcel导出excel实战。 重复一遍需求: 假设有一批商品房,我们需要将其导出到excel上,批量维护价格和业态,再导入回系统. id 业态 房间名称 面积 单价(元/m2) 总价(元) 1 商铺 万科城市之光-一期-一栋-101 50 2 商铺 万科城市之光-一期-一栋-102 50 3 商铺 万科城市之光-一期-一栋-103 50 2021-06-26 后端 #java #excel
Easyexcel导出excel实战(1) 需求 假设有一批商品房,我们需要将其导出到excel上,批量维护价格和业态,再导入回系统. id 业态 房间名称 面积 单价(元/m2) 总价(元) 1 商铺 万科城市之光-一期-一栋-101 50 2 商铺 万科城市之光-一期-一栋-102 50 3 商铺 万科城市之光-一期-一栋-103 50 4 住宅 万科城市之光-一期-一栋-201 24 2021-06-24 后端 #java #excel