Embedding与向量数据库总结
Embedding 的基本内容大概就是这么多啦, 然而小普想说的是它的价值并不仅仅在于 word embedding 或者 entity embedding 再或者是多模态问答中涉及的 image embedding, 而是这种能将某类数据随心所欲的操控且可自学习的思想。
数据科学 2024-04-17 08:17:04
finetune 的几种方法和对应框架
给定预训练模型(Pre_trained model),基于模型进行微调(Fine Tune)。相对于从头开始训练(Training a model from scatch)，微调为你省去大量计算资源和计算时间，提高了计算效率,甚至提高准确率。
大模型 2024-04-17 08:17:04
大模型功能简介以及对应工具整理
大型语言模型是深度学习神经网络, 可以通过对大量文本进行训练来理解、处理和生成人类语言。LLM(Large Language Model) 可以归类为自然语言处理(NLP), 这是一个旨在理解、解释和生成自然语言的人工智能领域。
大模型 2024-04-17 08:17:04
大模型LLM 的基准测试<一>
LLMs的不可思议的能力可以推广到广泛的NLP任务，这要求研究人员设计全面的评估基准，以有效地测试他们在各种任务上的能力。这些基准测试应该涵盖 LLM 的全部功能，同时足够简单，易于管理和解释。
大模型 2024-04-12 19:42:38
初次接触chatGPT<一>
chatGPT 是在经历了多轮迭代之后, 才出现的产物。从最开始的 GPT-1.0, 经历了GPT- 2.0 , GPT-3.0 , GPT-3.5 再到instructGPT、chatGPT.OpenAI的语言模型使用了深度神经网络, 并使用了非常大的数据集进行训练, 这导致了模型参数数量的大幅度增加。
大模型 2024-03-09 14:19:37
Rust入门
Rust 是一门系统编程语言, 是支持函数式、命令式以及泛型等编程范式的多范式语言。Rust 在语法上和 C++类似。 Rust 快速、可靠、安全, 它提供了甚至超过 C/C++的性能和安全保证, 同时它也是一种学习曲线比较平滑的热门编程语言。
编译语言 2024-02-25 20:39:55
git 操作规范
git的基本操作, 如分支、恢复、提交、日志查看; Git 服务端的创建、通讯协议(本地协议、HTTP、SSH、Git); 本地Git的安装与配置; 使用过程中的一写冲突与问题的解决; 使用Git来代码发布、实现持续集成
服务器管理与架构 2024-01-22 21:21:08
文本相似度总结<一>
工业界的很多应用都有在语义上衡量文本相似度的需求, 我们将这类需求统称为“语义匹配”。从传统的无监督相似度方法, 到孪生模型, 交互式模型, BERT, 以及基于BERT的一些改进工作.总体来说, 在BERT出现之前, 文本相似度任务可以说是一个百花齐放的过程。
数据科学 2024-01-17 08:39:59
deepspeed 入门<一>
DeepSpeed是一个开源深度学习训练优化库, 其中包含的一个新的显存优化技术—— ZeRO(零冗余优化器), 通过扩大规模, 提升速度, 控制成本, 提升可用性, 极大地推进了大模型训练能力。
大模型 2024-01-12 18:01:14
transformers 入门<一>
Huggingface Transformer能够帮我们跟踪流行的新模型, 并且提供统一的代码风格来使用BERT、XLNet和GPT等等各种不同的模型。而且它有一个模型仓库, 所有常见的预训练模型和不同任务上fine-tuning的模型都可以在这里方便的下载。
大模型 2024-01-12 18:01:14
LLaMA,开源语言模型
LLaMA是Meta(Facebook)的开源语言模型, 该语言模型据说是比openAI的ChatGPT能力更强的。虽说是开源语言模型, 但如果想要直接使用, 还是需要通过Edu教育邮箱来申请资格的, 得到批复邮件之后, 可以做为科学研究使用
大模型 2024-01-10 13:53:19
StarCoder初接触
BigCode 是由 HuggingFace和ServiceNow共同领导的开放式科学合作项目, 该项目致力于开发负责任的代码大模型。StarCoderBase 模型是使用 The Stack(v1.2)中的 80+ 种编程语言训练的 15.5B 参数模型, 不包括选择退出请求。该模型使用多查询注意力(包含 8192 个令牌的上下文窗口), 并使用 1 万亿个令牌的中间填充目标进行训练。
大模型 2024-01-10 13:53:19
Python常用模块介绍与使用说明
Python由荷兰数学和计算机科学研究学会的吉多·范罗苏姆 于1990 年代初设计, 作为一门叫做ABC语言的替代品。Python提供了高效的高级数据结构, 还能简单有效地面向对象编程。Python语法和动态类型, 以及解释型语言的本质......
脚本语言 2024-01-02 08:31:29
Linux的安装与更新及基本设置
Linux 系统的U盘安装, 磁盘分区、LVM的扩展与大硬盘的挂载, 系统升级及安全更新(CentOS、Ubuntu)、SELinux已经内核的升级, 系统优化, 硬件信息查看等
操作系统 2023-12-08 08:28:11
Neo4j 入门
Neo4j是一个高性能的,NOSQL图形数据库, 它将结构化数据存储在网络上而不是表中。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎, 但是它将结构化数据存储在网络(从数学角度叫做图)上而不是表中。
图数据库 2023-11-24 17:07:15
了解科学计算的Python相关基础
科学计算(scientific computing)是指在科学与工程领域, 使用计算机数学建模和数值分析技术分析和解决问题的过程。科学问题包括不同科学学科中的问题, 如地球科学、空间科学、社会科学、生命科学、物理学和形式科学。
数据科学 2023-10-18 17:07:09
使用OpenSSL, 生成各种证书
计算机网络上, OpenSSL是一个开放源代码的软件库包, 应用程序可以使用这个包来进行安全通信, 避免窃听, 同时确认另一端连线者的身份。这个包广泛被应用在互联网的网页服务器上。
安全(WEB与软件) 2023-09-05 22:19:47
Linux下编译程序
系统设置,环境变量,目标模块,归档生成静态库文件,在x64位Linux上生成动态链接库必须使用编译选项-fPIC的问题,查看依赖库...
编译语言 2023-07-28 10:31:15
常用的NER(Named Entity Recognition)库总结
命名实体识别(Named Entity Recognition, NER)是NLP中一项非常基础的任务。NER是信息提取、问答系统、句法分析、机器翻译等众多NLP任务的重要基础工具。命名实体识别的准确度, 决定了下游任务的效果, 是NLP中非常重要的一个基础问题。
数据科学 2023-07-05 21:43:00
DeepCTR 和 DeepMatch|推荐算法框架
DeepCTR 和 DeepMatch是知乎浅梦大神以及其他大佬开发的针对推荐系统排序召回算法训练推理的一套框架, 支持embedding matrix模块和类似tf estimator 的feature column, 并继承大量排序, 召回已有模型, 能够帮助学生和从业者很快搭建一套推荐算法架构。
