首页 > 营销学院 > IT资讯

飞桨常规赛：点击反欺诈预测 - 4月第8名方案

该方案针对飞桨点击反欺诈预测赛题，处理约50万点击数据。预处理含样本打乱，连续特征归一化、离散特征嵌入（处理高基数特征）；构建双层双向GRU模型，含嵌入层、全连接层等；用Adam优化器，batch_size50，动态调学习率，最高得分88.992分，还做了模型对比与优化展望。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

飞桨常规赛：点击反欺诈预测 - 4月第8名方案 -

飞桨常规赛：点击反欺诈预测 - 4月第8名方案

作者：@LYX-夜光

1 比赛介绍

广告欺诈是数字营销需要面临的重要挑战之一，点击会欺诈浪费广告主大量金钱，同时对点击数据会产生误导作用。本次比赛提供了约50万次点击数据。
特别注意：该数据是模拟生成，对某些特征含义进行了隐藏，并进行了脱敏处理。请预测用户的点击行为是否为正常点击，还是作弊行为。点击欺诈预测适用于各种信息流广告投放，banner广告投放，以及百度网盟平台，帮助商家鉴别点击欺诈，锁定精准真实用户。
赛题链接：点击反欺诈预测

2 思路介绍

2.1 数据预处理

1. 样本分析：点击反欺诈预测是一个二分类问题，对于分类问题，首先需要统计数据集正反例样本的占比，假如正例样本占比太大，可能会使模型更倾向于预测出正例的结果。因此，对于样本不平衡的数据集，一般采用上采样或下采样等方法。由于本赛题的数据集样本比较平均，因此不需要对数据集进行平衡处理。
2. 样本打乱：将数据集中样本打乱，这样是为了防止模型在训练时记住了样本的某种顺序特性，以免影响模型的泛化能力。将打乱后的数据集的前90%作为训练集、后10%作为验证集。
3. 特征分析：观察数据集特征，除“sid”（样本id）、“label”（分类结果）之外，数据集特征共有18个，其中“dev_height“，”dev_ppi“，”dev_width”，“timestamp”是连续特征，其余都是离散特征。连续特征与离散特征的区别是，前者存在特征值的某种大小关系，后者只存在特征值是否相等的关系。常见的连续特征处理方法有归一化、标准化等；离散特征的处理方法有独热编码（one-hot）、嵌入（embedding）等。考虑到“dev_xxx”等特征的不同取值较少，同时直观感觉这些特征的大小关系与是否欺诈的关联性不大，因此将“dev_xxx”等特征作为离散值处理。
4. 特征处理：将连续特征归一化 $(v a l u e - m i n) / (m a x - m i n)$ (value−min)/(max−min)；对离散特征采用embedding，首先进行独热编码，即将离散特征值映射为0到n-1的整数，n为每个特征值的不同取值数。由于“android_id”、“package”、“fea_hash”、“fea1_hash”等特征的【不同取值的个数较多（如某特征在50W数据中有30W+的不同取值）】且【存在较多的相同取值计数小的样本（设某特征存在特征值"value1"、"value2"、...，对相同取值为"value1"、"value2"、...等样本统计样本数，数据集中存在有较多样本数少的样本）】，因此将这些相同特征值的样本数小于等于15的特征值转换为同一个值，这种处理一方面可以减少嵌入参数、缩短训练时间，另一方面减少相同特征值的样本数太少所带来的偶然性。
数据预处理部分代码如下：

# 特征处理方式，1:嵌入，2:归一化class DealType(Enum):
    EMB = 1
    NORM = 2
    EMB_FILTER = 3# None为舍弃特征FEATURE_PATTERN = {    # 'sid': None,

    'android_id': DealType.EMB_FILTER,    'media_id': DealType.EMB,    'apptype': DealType.EMB,    'package': DealType.EMB_FILTER,    'version': DealType.EMB,    'ntt': DealType.EMB,    'carrier': DealType.EMB,    'os': DealType.EMB,    'osv': DealType.EMB,    'dev_height': DealType.EMB,    'dev_ppi': DealType.EMB,    'dev_width': DealType.EMB,    'lan': DealType.EMB,    'location': DealType.EMB,    'fea_hash': DealType.EMB_FILTER,    'fea1_hash': DealType.EMB_FILTER,    'cus_type': DealType.EMB,    'timestamp': DealType.NORM,
}

FEATURE_PATTERN_NEW = FEATURE_PATTERN.copy()
FEATURE_PATTERN_NEW.update({    'android_id': DealType.EMB,    'package': DealType.EMB,    'fea_hash': DealType.EMB,    'fea1_hash': DealType.EMB
})
FEATURE_LIST = [feat for feat in FEATURE_PATTERN_NEW if FEATURE_PATTERN_NEW[feat]]# 训练集，验证集比例TRAIN_RATIO = 0.9VAL_RATIO = 0.1# 转换大离散特征for feat in FEATURE_PATTERN:    if FEATURE_PATTERN[feat] == DealType.EMB_FILTER:
        trainPoint = int(len(trainData[feat]) * TRAIN_RATIO)
        trainValue = trainData[feat][:trainPoint]
        valueDict = {value: str(value) for value in set(trainValue) if value is not np.nan}
        data = trainData.iloc[:trainPoint].groupby(feat)[feat].count()
        removeValue = -1
        data[data <= 15] = removeValue
        valueDict.update(data.loc[data == removeValue].to_dict())
        trainData[feat] = trainData[feat].map(valueDict)
        trainData[feat] = trainData[feat].replace({np.nan: removeValue})
        testData[feat] = testData[feat].map(valueDict)
        testData[feat] = testData[feat].replace({np.nan: removeValue})

2.2 模型构建

图1 神经网络模型

如图1，模型说明如下：
1. 嵌入层：对离散特征采用嵌入（embedding），embedding的输出维度一般设为 $k ⌊ \sqrt[4]{s i z e} ⌋ (k \leq 16)$ k⌊4size⌋(k≤16)， $s i z e$ size为某特征的不同取值数量，在这里取 $k = 1$ k=1。
2. 隐藏全连接层：对每个连续特征和已嵌入的离散特征分别构造全连接，将全连接的输出设为同一维度 $n$ n，这是为了后面可直接采用GRU网络，这里设 $n = 1$ n=1。该步骤相当于特征重建，即重新构建了与原始输入数据同一维度的特征。
3. GRU层：考虑到特征之间存在某种关联，如有些特征同属于用户特征、有些同属于媒体特征。由于LSTM或GRU能够很好地记忆特征间关联的信息，并且GRU在很多方面比LSTM更优，同时GRU比LSTM少一个门，在运算时能节省时间，因此采用GRU。这里采用双层双向GRU，采用双向是认为特征之间前后都有关联，而不仅仅是后面的特征与前面的特征有关联，设hidden_size=18，与特征个数相同。
4. 输出全连接层：采用两层全连接层，最后激活函数使用softmax。

组网代码：

class ConNet(paddle.nn.Layer):
    def __init__(self, sizeDict: dict):
        super().__init__()        # 存储每个特征的隐藏层
        self.hidden_layers_list = nn.LayerList([])        # 统计隐藏层输出结点
        out_features = 1
        for feat in FEATURE_LIST:            if FEATURE_PATTERN_NEW[feat] == DealType.EMB:
                embedding_dim = int(np.power(sizeDict[feat], 0.25))
                hidden_layer = nn.LayerList([nn.Embedding(num_embeddings=sizeDict[feat], embedding_dim=embedding_dim),
                                             nn.Linear(in_features=embedding_dim, out_features=out_features)])            else:
                hidden_layer = nn.LayerList([nn.Linear(in_features=1, out_features=out_features)])
            self.hidden_layers_list.append(hidden_layer)
        feature_size, hidden_size = len(FEATURE_LIST), len(FEATURE_LIST)
        self.gru = nn.GRU(input_size=out_features, hidden_size=hidden_size, time_major=True, num_layers=2, direction="bidirect", dropout=0.2)
        out_layer1_in_features, out_layer1_out_features = feature_size+hidden_size*4, hidden_size
        self.out_layer1 = nn.Linear(in_features=out_layer1_in_features, out_features=out_layer1_out_features)
        self.out_layer2 = nn.Linear(in_features=out_layer1_out_features, out_features=2)
        self.softmax = nn.Softmax()    def forward(self, X):
        layerList = []        for x, hidden_layers in zip(X, self.hidden_layers_list):            for hidden_layer in hidden_layers:
                x = hidden_layer(x)            # 将[batch_size, 1, out_features] 转为 [batch_size, out_features]
            layerList.append(tensor.flatten(x, start_axis=1))        # 在0维扩展维度
        X = tensor.stack(layerList, 0)  # [time_step, batch_size, vector_size]
        # 送入GRU，将每个batch的输出拼成向量
        out, hc = self.gru(X)
        out = out[:, :, -1].transpose((1, 0)).unsqueeze(0)        # 合并
        y = tensor.concat(list(out)+list(hc), axis=1)        # 把特征放入用于输出层的网络
        y = self.out_layer1(y)
        y = self.out_layer2(y)
        y = self.softmax(y)        # 返回分类结果
        return y

2.3 训练调参

1. batch_size：设为50，不确定设为多大最合适，尽量保证能整除训练集数量
2. 优化器：选择Adam，确保能够快速收敛
3. 学习率lr：先设为0.001，训练大概30个左右epoch后，选择验证集损失（val loss）最小的模型参数，再将学习率设为0.0005，再进行训练，看情况再依次递减学习率训练

3 模型结果和对比分析

3.1 模型结果

采用以上的思路，模型的预测结果分数大部分时候有88.9分以上，最高能达到88.992分

3.2 模型对比

1. 特征选取对比：刚开始没有选取所有特征，因为考虑到”android_id“等特征的不同取值数量太大，不适合用于嵌入，”os“特征取值只有两个取值，而且两个取值只有首字母大小写的区别，因此舍弃了几个特征。后面通过逐个增加特征对比，发现利用所有特征的效果最好。
2. 特征处理对比：将“dev_xxx”等特征用【归一化】和【嵌入】作对比，发现后者【嵌入】效果较好；将“fea1_hash”特征【直接嵌入】和【特征处理：将相同取值的样本数小于等于15转化为相同值】作对比，发现后者【特征处理】效果更好；比较【特征处理：将相同取值的样本数小于等于k转化为相同值】，k取5或10时，不如k=15，k取20与15差不多；将“timestamp”特征拆分为“day”、“hour”、“minute”，再进行嵌入，效果比"timestamp"直接使用归一化差。
3. 嵌入维度对比：将【embedding输出维度统一为同一值（如统一输出为4,8,16,32等）】与【embedding输出维度 $k ⌊ \sqrt[4]{s i z e} ⌋ (k \leq 16), k = 1$ k⌊4size⌋(k≤16),k=1】作对比，发现后者优于前者；将 $k$ k取值为1和2做对比，发现 $k = 1$ k=1效果较好。
4. 隐藏全连接层对比：将隐藏全连接输出维度取1和2作对比，发现取1时较好。
5. GRU层对比：加上GRU层明显比仅使用全连接层效果好，hidden_size采用8或32时，比采用16或18效果较差。使用双层GRU比单层效果好，三层与双层效果差不多。
6. 输出全连接层对比：使用两层全连接层比一层效果好。
7. 优化器对比：测试了SGD、Momentum、Adam、Adadelta等优化器，发现Adam明显优于其他优化器。
注意：以上对比如有出入的地方，可能是因为实验做得不充分，另一方面可能由于权值初始化是随机的，无法做出比较准确的对比。

4 总结与展望

4.1 总结

本文思路和代码参考了baseline，从一开始的86.36分，再一步步调优直到88.99分，期间遇到了很多困难，主要在调参和对比方面，随机初始权值也给模型对比带来了困难。本文的模型在训练时，有时候在epoch较大时会出现loss为nan的问题，至今也不知道为什么，应该不是学习率太大造成的；训练时有时候也没法达到88.9分，这可能是随机初始权值的问题，也可能是模型本身的问题。总之，该模型还是存在着不足。

4.2 展望

本文思路还有几个可以优化的点：
1. 特征工程：可以构造新的特征，或者用其他方法对特征缺失值进行填充；
2. 模型构建：如给GRU加入注意力机制，修改模型以及对应的输出等；
3. 训练调参：测试batch_size等参数。

Openflow

一键极速绘图，赋能行业工作流

88 查看详情 Openflow

最后，要感谢百度飞桨给我们免费提供算力，在AI Studio中运行项目可以同时运行3个，只要网页不关闭可以一直运行下去，在我模型调参时节约了很多时间。而且，飞桨深度学习框架用起来也很方便，能很快上手，用其他学习框架实现的代码能够很容易地用飞桨框架迁移。
总之，飞桨很不错，值得大家体验。

附录

执行数据预处理命令：run initData.py

In [28]

run initData.py

新训练集创建完成！
新测试集创建完成！
=================构建特征字典=================
特征[android_id]嵌入完毕，value共13个
特征[media_id]嵌入完毕，value共292个
特征[apptype]嵌入完毕，value共89个
特征[package]嵌入完毕，value共364个
特征[version]嵌入完毕，value共23个
特征[ntt]嵌入完毕，value共8个
特征[carrier]嵌入完毕，value共5个
特征[os]嵌入完毕，value共2个
特征[osv]嵌入完毕，value共165个
特征[dev_height]嵌入完毕，value共864个
特征[dev_ppi]嵌入完毕，value共105个
特征[dev_width]嵌入完毕，value共382个
特征[lan]嵌入完毕，value共25个
特征[location]嵌入完毕，value共332个
特征[fea_hash]嵌入完毕，value共60个
特征[fea1_hash]嵌入完毕，value共627个
特征[cus_type]嵌入完毕，value共58个
特征[timestamp]统计最大最小值完毕
=================字典构建完毕=================

执行训练命令：run train.py

温馨提示：训练时间需要较久，用CPU每轮约300s-400s，最优模型参数已存储，想直接推理结果可跳过此步，若要训练需要取消如下命令的注释。

In [29]

# run train.py

执行推理命令：run test.py

温馨提示：执行该命令前必须先执行run initData.py

In [30]

run test.py

mode: pred - batch: 100/3000
mode: pred - batch: 200/3000
mode: pred - batch: 300/3000
mode: pred - batch: 400/3000
mode: pred - batch: 500/3000
mode: pred - batch: 600/3000
mode: pred - batch: 700/3000
mode: pred - batch: 800/3000
mode: pred - batch: 900/3000
mode: pred - batch: 1000/3000
mode: pred - batch: 1100/3000
mode: pred - batch: 1200/3000
mode: pred - batch: 1300/3000
mode: pred - batch: 1400/3000
mode: pred - batch: 1500/3000
mode: pred - batch: 1600/3000
mode: pred - batch: 1700/3000
mode: pred - batch: 1800/3000
mode: pred - batch: 1900/3000
mode: pred - batch: 2000/3000
mode: pred - batch: 2100/3000
mode: pred - batch: 2200/3000
mode: pred - batch: 2300/3000
mode: pred - batch: 2400/3000
mode: pred - batch: 2500/3000
mode: pred - batch: 2600/3000
mode: pred - batch: 2700/3000
mode: pred - batch: 2800/3000
mode: pred - batch: 2900/3000
mode: pred - batch: 3000/3000
结果文件保存至： ./results/results_0.0005_06.csv

以上就是飞桨常规赛：点击反欺诈预测 - 4月第8名方案的详细内容，更多请关注其它相关文章！

# 百度 # 潞城网站推广营销 # 从化seo网站优化推广技巧 # 深圳动画营销推广服务好 # 转化为 # 效果好 # 几个 # 较多 # 考虑到 # 中文网 # 较好 # 设为 # ai # 区别 # 为什么 # red # udio # latte # type # 特征值 # 太大 # 啤酒节营销推广 # 女明星关键词排名推荐图 # 淮安百度关键词推广营销 # 镜湖区网站优化怎么做 # 哪些站外推广网站好 # 晋中网站优化外包 # 网站推广职业现状

相关栏目：【 Google疑问12 】【 Facebook疑问10 】【优化推广96088 】【技术知识133117 】【 IDC资讯59369 】【网络运营7196 】【 IT资讯61894 】

2025-07-30

Notion AI怎么写笔记 Notion AI辅助写作及自动摘要生成技巧【教学】 AI一键生成高质量论文大纲 Claude帮你改写和润色文章 Claude写作风格优化技巧怎么用ai创作绘本 AI儿童故事与插画自动生成【秘籍】去哪旅行ai抢票助手怎么查看抢票历史_去哪旅行ai抢票助手历史记录查询与筛选【教程】如何用AI一键去除图片背景？AI自动抠图去底最强工具【实测】 DeepSeek数学建模应用指南 DeepSeek解决复杂问题技巧如何用AI一键扩图补全背景？Photoshop AI生成填充使用技巧【教程】 DeepSeek辅助撰写技术文档方法 DeepSeek开发者必备技巧文心一言官方网站在线入口文心一言在线版使用地址 Kimi国内访问入口_Kimi智能助手网页版链接直达如何用AI生成室内设计效果图？AI装修设计灵感生成指南【教程】 AI一键生成社交媒体自动回复蚂蚁阿福官网网页版入口_电脑端使用医保与健康服务如何用AI一键去视频水印 AI视频无痕去水印软件使用方法【教程】 Claude帮你解读晦涩的学术理论 Claude知识学习助手 Jasper AI怎么写社交媒体帖子 Jasper AI社媒内容创作【攻略】 DeepSeek长代码项目理解与分析 DeepSeek代码库学习方法 DeepSeek进行科学计算教程 DeepSeek物理建模与* AI一键生成短视频分镜头脚本

了解您产品搜索量及市场趋势，制定营销计划

同行竞争及网站分析保障您的广告效果

点击免费数据支持

提交您的需求，1小时内享受我们的专业解答。

运城市盐湖区信雨科技有限公司

运城市盐湖区信雨科技有限公司是一家深耕海外推广领域十年的专业服务商，作为谷歌推广与Facebook广告全球合作伙伴，聚焦外贸企业出海痛点，以数字化营销为核心，提供一站式海外营销解决方案。公司凭借十年行业沉淀与平台官方资源加持，打破传统外贸获客壁垒，助力企业高效开拓全球市场，成为中小企业出海的可靠合作伙伴。