初次接触chatGPT<一>
chatGPT 是在经历了多轮迭代之后, 才出现的产物。从最开始的 GPT-1.0, 经历了GPT- 2.0 , GPT-3.0 , GPT-3.5 再到instructGPT、chatGPT.OpenAI的语言模型使用了深度神经网络, 并使用了非常大的数据集进行训练, 这导致了模型参数数量的大幅度增加。
大模型 2024-03-09 14:19:37
Rust入门
Rust 是一门系统编程语言, 是支持函数式、命令式以及泛型等编程范式的多范式语言。Rust 在语法上和 C++类似。 Rust 快速、可靠、安全, 它提供了甚至超过 C/C++的性能和安全保证, 同时它也是一种学习曲线比较平滑的热门编程语言。
编译语言 2024-02-25 20:39:55
deepspeed 入门<一>
DeepSpeed是一个开源深度学习训练优化库, 其中包含的一个新的显存优化技术—— ZeRO(零冗余优化器), 通过扩大规模, 提升速度, 控制成本, 提升可用性, 极大地推进了大模型训练能力。
大模型 2024-01-12 18:01:14
LLaMA,开源语言模型
LLaMA是Meta(Facebook)的开源语言模型, 该语言模型据说是比openAI的ChatGPT能力更强的。虽说是开源语言模型, 但如果想要直接使用, 还是需要通过Edu教育邮箱来申请资格的, 得到批复邮件之后, 可以做为科学研究使用
大模型 2024-01-10 13:53:19
StarCoder初接触
BigCode 是由 HuggingFace和ServiceNow共同领导的开放式科学合作项目, 该项目致力于开发负责任的代码大模型。StarCoderBase 模型是使用 The Stack(v1.2)中的 80+ 种编程语言训练的 15.5B 参数模型, 不包括选择退出请求。该模型使用多查询注意力(包含 8192 个令牌的上下文窗口), 并使用 1 万亿个令牌的中间填充目标进行训练。
大模型 2024-01-10 13:53:19
Linux的安装与更新及基本设置
Linux 系统的U盘安装, 磁盘分区、LVM的扩展与大硬盘的挂载, 系统升级及安全更新(CentOS、Ubuntu)、SELinux已经内核的升级, 系统优化, 硬件信息查看等
操作系统 2023-12-08 08:28:11
Neo4j 入门
Neo4j是一个高性能的,NOSQL图形数据库, 它将结构化数据存储在网络上而不是表中。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎, 但是它将结构化数据存储在网络(从数学角度叫做图)上而不是表中。
图数据库 2023-11-24 17:07:15
了解科学计算的Python相关基础
科学计算(scientific computing)是指在科学与工程领域, 使用计算机数学建模和数值分析技术分析和解决问题的过程。科学问题包括不同科学学科中的问题, 如地球科学、空间科学、社会科学、生命科学、物理学和形式科学。
数据科学 2023-10-18 17:07:09
使用OpenSSL, 生成各种证书
计算机网络上, OpenSSL是一个开放源代码的软件库包, 应用程序可以使用这个包来进行安全通信, 避免窃听, 同时确认另一端连线者的身份。这个包广泛被应用在互联网的网页服务器上。
安全(WEB与软件) 2023-09-05 22:19:47
常用的NER(Named Entity Recognition)库总结
命名实体识别(Named Entity Recognition, NER)是NLP中一项非常基础的任务。NER是信息提取、问答系统、句法分析、机器翻译等众多NLP任务的重要基础工具。命名实体识别的准确度, 决定了下游任务的效果, 是NLP中非常重要的一个基础问题。
数据科学 2023-07-05 21:43:00
DeepCTR 和 DeepMatch|推荐算法框架
DeepCTR 和 DeepMatch是知乎浅梦大神以及其他大佬开发的针对推荐系统排序召回算法训练推理的一套框架, 支持embedding matrix模块和类似tf estimator 的feature column, 并继承大量排序, 召回已有模型, 能够帮助学生和从业者很快搭建一套推荐算法架构。
数据科学 2023-06-21 15:28:56
埋点设计一二三
埋点是数据领域的专业术语, 它的学名叫事件追踪, 对应的英文是Event Tracking。它主要是针对特定用户行为或事件进行捕获、处理和发送的相关技术及其实施过程。
服务器管理与架构 2023-06-21 14:45:46
MongoDB 基础与简介
MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案.它支持的数据结构非常松散, 是类似json的bson格式, 因此可以存储比较复杂的数据类型...
数据库 2023-06-21 07:37:31
Docker 从入门到实践
Docker 支持 Windows/Linux/Mac/AWS/Azure 多种平台的安装, 其中 Windows 需要 Win10+, Mac 需要 EI Captain+。Docker 是一个 C/S 架构的服务, 安装好 docker 之后需要启动 docker 软件后才能使用 docker 命令。Docker 软件包已经包括在默认的 CentOS-Extras 软件源里。因此想要安装 docker, 只需要运行下面的 yum 命令.
服务器管理与架构 2023-06-01 15:46:19
深度学习中常见的数据处理方法
数据作为三者之中不容易用标准化的元素来说, 其不可控的原因主要是由于不同的任务要使用不同的数据集, 所以很难对数据做到真正的标准化和模块化, 无法像算法模型一样直接对其调用。
数据科学 2023-06-01 15:46:19
Samba 简介与基本使用
Samba是在Linux系统上实现SMB(Session MessageBlock)协议的一个免费软件, 以实现文件共享和打印机服务共享, 是模仿Windows网上邻居的SMB的通讯协议, 将Linux操作系统"假装成"Windows操作系统, 通过网上邻居的方式来进行文件传输的。
常用工具说明篇 2023-06-01 15:46:19
Nginx的rewrite、全局变量、重定向和防盗链等相关功能
Nginx的负载均衡可以把用户的请求分摊到多个服务器上进行处理, 从而实现了对海量用户的访问支持。Nginx服务器利用ngx_http_rewrite_module 模块解析和处理rewrite请求
服务器管理与架构 2023-05-21 19:54:59
推荐系统及相关算法简介
随着信息技术和互联网的发展, 人们逐渐从信息匮乏的时代走入了信息过载(information overload)的时代。推荐系统的任务就是联系用户和信息, 一方面帮助用户发现对自己有价值的信息, 另一方面让信息能够展现在对它感兴趣的用户面前, 从而实现信息消费者和信息生产者的双赢。
数据科学 2023-05-21 19:54:59
一文了解什么是RPA
RPA, 即Robotic Process Automation(机器人流程自动化), 是以机器人作为虚拟劳动力, 依据预先设定的程序与现有用户系统进行交互并完成预期的任务。通俗的讲, RPA机器人就是借助一些能够自动执行的脚本
数据科学 2023-03-05 09:22:44
Kafka入门与基本参数设置
Kafka 是一个消息系统, 原本开发自 LinkedIn, 用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。现在它已被多家不同类型的公司 作为多种类型的数据管道和消息系统使用
