Basic Structure pre-training 架构，对于输入的同一个图像和文本pair对，使他们的相似度越大越好，这就引出了对比学习的方法。简单来讲就是对角线的相似度最大，其他位置最小，以此来训练模型。 核心代码 图像编码器 图像编码器使用的是ViT（简单来讲，就是将图片切割为大小相同的patch，每个patch可以看做是一个token，剩余的做法和普...

Contrastive learning Contrastive learning SimCLR –it is a self-supervise learning Momentum Contrast for Unsupervised Visual Representation Learning MoCo why combine crossEntropy with softmax...

大模型调优方法 这三种技术在性能、效率和适用范围上各有千秋。选择哪种方法取决于具体的应用需求。 提示工程（Prompt Engineering） 输入prompt给large language model，大语言模型就根据这个输入来生成回应。然后得到我们想要的结果。这实际上是一种精确的输入方法，旨在引导模型产生相应的输出。大多数情况下prompts指的是文本，尤其是以自然语言...

Background 一般而言，深度学习模型可以分为判别式模型（Discriminative model）与生成式模型（Generative model）。判别模型需要输入变量，通过 某种模型来预测。生成模型是给定某种隐含信息，来随机产生观测数据。举个简单的例子， 判别模型：给定一张图，判定图中的动物是什么类别 生成模型：给一系列猫的图片，生成一张新的猫咪 由于反向传播 (...

Before Transformer 深度学习做 NLP 的方法，基本上都是先将句子分词，然后每个词转化为对应的词向量序列。这样一来，每个句子都对应的是一个矩阵 $X = (x_1,x_2,…,x_t)$, 其中$x_i$都代表着第i个词的向量（行向量），纬度（d），$X\in R^{n*d}$问题就变成了编码这些序列了。 第一个基本的思路是 RNN 层，RNN 的方案很简单，递归...

Language Usage for NLP task Speech Recognition 语音识别 P(“We built this city on rock and roll”) > P(“We built this city on sausage rolls”) Spelling correction 拼写更正 P(“… has no mistakes”) > ...

pandas 字符串处理 常用函数 大小写转换 lower() upper() 去除首尾空格 strip() 以特定字符串开始 startwith() 替换特定数据 replace() 将某列拆成多列 split() 个性化处理数据 lambda 函数 import pandas as pd data = pd.read_excel('d...

为何将batch size设置为1？ 通常的项目为了将GPU的算力充分利用，会将batch size设置为一个较大的值 在pytorch version中关于目标检测的训练脚本，将batch size设置为了1是因为： 不同尺寸的图片打成同一个batch送到网络之前必然要resize（比如padding）成同一个尺寸，为了避免resize带来的干预，所以让一个batch只有一个图片...

核心流程 数据获取 神经网络输入比较灵活，这里需要手动确定输入形式（图片，文本） 模型定义 根据input来定义网络结构 训练 定义loss, optimizer, Train&Valid, 保存模型权重 测试 根据训练结果测试数据 海华中文阅读理解挑战赛 基于bert的baseline bert 基础 ...

Jacques Qu from Channel Planning & Forecast share us stories make something wonderful 交代了2005年演讲背后的故事 为期半年 Steve利用给自己发邮件的方式记录了hint 发觉怎么 data -> knowledge -> hint -> insight -&gt...