大模型功能简介以及对应工具整理
大型语言模型是深度学习神经网络, 可以通过对大量文本进行训练来理解、处理和生成人类语言。LLM(Large Language Model) 可以归类为自然语言处理(NLP), 这是一个旨在理解、解释和生成自然语言的人工智能领域。
大模型 2024-07-12 11:45:08
RAG 入门<一>
RAG 顾名思义就是: Retrieval Augmented Generation, 即使用 LLM 生成, 它由严格编程的自动化流程或代理辅助的自动化流程辅助, 这些流程收集、操作并向系统提供数据。RAG 不是 Vector DB 技术，而是一个定义松散的概念，描述了自动化系统协助 LLM 生成的过程，并且可以使用数据库（如 vector dbs、sql dbs 甚至普通文件）来增强其操作。
大模型 2024-07-09 08:33:26
finetune 的几种方法和对应框架
给定预训练模型(Pre_trained model),基于模型进行微调(Fine Tune)。相对于从头开始训练(Training a model from scatch)，微调为你省去大量计算资源和计算时间，提高了计算效率,甚至提高准确率。
大模型 2024-06-24 08:41:05
大模型LLM 的基准测试<一>
LLMs的不可思议的能力可以推广到广泛的NLP任务，这要求研究人员设计全面的评估基准，以有效地测试他们在各种任务上的能力。这些基准测试应该涵盖 LLM 的全部功能，同时足够简单，易于管理和解释。
大模型 2024-06-24 08:41:05
transformers 入门<一>
Huggingface Transformer能够帮我们跟踪流行的新模型, 并且提供统一的代码风格来使用BERT、XLNet和GPT等等各种不同的模型。而且它有一个模型仓库, 所有常见的预训练模型和不同任务上fine-tuning的模型都可以在这里方便的下载。
大模型 2024-06-14 20:59:51
git 操作规范
git的基本操作, 如分支、恢复、提交、日志查看; Git 服务端的创建、通讯协议(本地协议、HTTP、SSH、Git); 本地Git的安装与配置; 使用过程中的一写冲突与问题的解决; 使用Git来代码发布、实现持续集成
服务器管理与架构 2024-05-21 17:54:32
Linux下编译程序
系统设置,环境变量,目标模块,归档生成静态库文件,在x64位Linux上生成动态链接库必须使用编译选项-fPIC的问题,查看依赖库...
编译语言 2024-05-14 19:56:30
初次接触深度学习<一>
深度学习是机器学习的一个分支领域:它是从数据中学习表示的一种新方法, 强调从连续的层(layer)中进行学习, 这些层对应于越来越有意义的表示。"深度学习"中的"深度"指的并不是利用这种方法所获取的更深层次的理解, 而是指一系列连续的表示层。
数据科学 2024-05-02 21:07:13
select count(*)底层究竟干了啥么
“SELECT COUNT(*) FROM TABLE” 是个再常见不过的 SQL 需求了。在 MySQL 的使用规范中, 我们一般使用事务引擎 InnoDB 作为(一般业务)表的存储引擎, 在此前提下, COUNT(*)操作的时间复杂度为 O(N), 其中 N 为表的行数。
数据库 2024-04-28 17:13:42
MySQL优化指南
当MySQL单表记录数过大时, 增删改查性能都会急剧下降, 所以我们本文会提供一些优化参考, 大家可以参考以下步骤来优化:单表优化,读写分离,缓存,表分区,垂直拆分,水平拆分
数据库 2024-04-28 17:13:42
史上最全SQL优化方案
在进行MySQL的优化之前, 必须要了解的就是MySQL的查询过程, 很多查询优化工作实际上就是遵循一些原则, 让MySQL的优化器能够按照预想的合理方式运行而已
数据库 2024-04-28 17:13:42
MySQL半同步复制
从MySQL5.5开始, MySQL以插件的形式支持半同步复制。如何理解半同步呢？首先我们来看看异步, 全同步的概念.Asynchronous,Fully synchronous,Semisynchronous
数据库 2024-04-28 17:13:42
Memcache与Redis
memcache和redis是互联网分层架构中, 最常用的KV缓存。不少同学在选型的时候会纠结, 到底是选择memcache还是redis。
数据库 2024-04-28 17:13:42
Hbase 集群的搭建与日常操作
hbase是一款分布式的列式数据库, 其数据源寄生在hadoop上, 因而与hadoop共生, 广泛应用在大数据领域, 利用zookeeper作为其分布式协同服务, 存储非结构化和半结构化的松散数据, 其特点是高可靠, 高性能, 面向列, 可伸缩, 实时读写
数据库 2024-04-28 17:13:42
Hbase 集群的常见维护问题
Hadoop 常见问题, Hadoop元数据备份与恢复方案, hbase常见问题及数据备份与迁移, region合并与拆分, Thrift server 参数选择, Phoenix 二级索引等...
数据库 2024-04-28 17:13:42
MySQL、MongoDB、Redis 数据库之间的区别
NoSQL 的全称是 Not Only SQL, 也可以理解非关系型的数据库, 是一种新型的革命式的数据库设计方式, 不过它不是为了取代传统的关系型数据库而被设计的, 它们分别代表了不同的数据库设计思路(MySQL, MongoDB, Redis...)
数据库 2024-04-28 17:13:42
PostgreSQL 入门与基本操作
PostgreSQL 是一个免费的对象-关系数据库服务器(ORDBMS), 在灵活的BSD许可证下发行。PostgreSQL 开发者把它念作 post-gress-Q-L。PostgreSQL 的 Slogan 是'世界上最先进的开源关系型数据库'。
数据库 2024-04-28 17:13:42
Dgraph 入门与学习
DGraph 是由前 Google 员工 Manish Rai Jain 离职创业后, 在 2016 年推出的图数据库产品, 基于 Go 语言编写, 底层数据模型是 RDF, 存储引擎基于 BadgerDB 改造, 使用 RAFT 保证数据读写的强一致性...
图数据库 2024-04-28 17:13:42
Elasticsearch 7.4 手册阅读笔记
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎, 基于RESTful web接口。Elasticsearch是用Java语言开发的, 并作为Apache许可条款下的开放源码发布, 是一种流行的企业级搜索引擎。
服务器管理与架构 2024-04-28 17:13:42
分布式文件系统glusterfs部署搭建
GlusterFS是Scale-Out存储解决方案Gluster的核心, 它是一个开源的分布式文件系统, 具有强大的横向扩展能力, 通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起, 使用单一全局命名空间来管理数据。
