关于天池赛中零基础入门推荐系统 - 新闻推荐Task01赛题理解+Baseline_"data_save_path = \"xx/xx"-程序员宅基地

文章目录

前言
一、推荐系统是如何推荐的？
二、用户画像是如何预测用户行为的？
三、使用步骤
总结

前言

在高速的网络、便捷的支付方式下，消费方式得到改进，网上购物也越来越流行。当你打开购物APP时，你是否有对它的推荐过程产生过疑惑，明明上一次只是随便搜了一下零食，而这一次打开，为你推荐了满屏零食，不得已，你又剁手了，真是又爱又恨呀。
同样地，当我们打开新闻APP看过文章时，接下来APP将会为你推荐一堆跟你历史浏览文章题材及其相似的文章,你是否也有对它的推荐过程产生过疑惑。
那么，接下来本篇文章将依据Datawhale的针对天池赛中零基础入门推荐系统 - 新闻推荐Task01，来分享我对此次赛题及Baseline的一些理解，也希望能够为你解答一些疑惑。

| 打卡记录NO.1

一、推荐系统是如何推荐的？

举例子：新闻APP中的新闻推荐

在用户与新闻文章进行交互之后，根据用户的历史足迹中的特征来生成用户画像，再通过用户画像来预测用户未来点击的新闻文章。

二、用户画像是如何预测用户行为的？

用户画像成为模型训练的训练样本，接着由训练样本来训练得出预测模型，最终进行算法推荐，即一般算法推荐会分成召回、排序和后排等几步。其中对分析报表进行分析，调整推荐的策略，最后再进行算法推荐中。

剖析：

根据用户画像，从新闻文章池中挑选出符合的候选集，并进行初始排序。

在模型排序阶段给每个文章打分，即计算出用户在未来点击某些新闻文章的概率。

为用户挑选出分数相对较高的新闻文章。

将得分高的新闻文章进行多样性排序。

将分数最大的新闻文章推荐给用户，进而形成高效的推荐流程。

三、使用步骤

1.引入库

代码如下：

# import packages
import time, math, os
from tqdm import tqdm
import gc
import pickle
import random
from datetime import datetime
from operator import itemgetter
import numpy as np
import pandas as pd
import warnings
from collections import defaultdict
warnings.filterwarnings('ignore')

2.创建两个文件夹：

其中，data_path为保存原数据的存储路径；save_path为保存最终的数据

data_path = './data_raw/'
save_path = './tmp_results/'

3.压缩数据：

python pandas处理大数据节省内存的方法：

数值类型的列进行降级处理

字符串类型的列转化为类别类型（category）

字符串类型的列的类别数超过总行数的一半时，建议使用object类型

代码如下：

# 节约内存的一个标配函数
def reduce_mem(df): ##遍历DataFrame的所有列并修改它们的数据类型以减少内存使用
    starttime = time.time()              #####关于time.time()用法见附录1
    numerics = ['int16', 'int32', 'int64', 'float16', 'float32', 'float64']
    start_mem = df.memory_usage().sum() / 1024**2  ##记录原数据的内存大小
    ##print('Memory usage of dataframe is {:.2f} MB'.format

本文链接：https://blog.csdn.net/weixin_43796337/article/details/110131918

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

c# 调用c++ lib静态库_c#调用lib-程序员宅基地

文章浏览阅读2w次，点赞7次，收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案，在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建：添加Visual C++ , Win32 项目这......_c#调用lib

deepin/ubuntu安装苹方字体-程序员宅基地

文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体，挺好看的。注重颜值的网站都会使用，例如知乎：font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang

html表单常见操作汇总_html表单的处理程序有那些-程序员宅基地

文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--method将表单中的数据传送给服务器处理，get方式直接显示在url地址中，数据可以被缓存，且长度有限制；而post方式数据隐藏传输，_html表单的处理程序有那些

PHP设置谷歌验证器（Google Authenticator）实现操作二步验证_php otp 验证器-程序员宅基地

文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证（即Google Authenticator服务）后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器

【Python】matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距-程序员宅基地

文章浏览阅读4.3k次，点赞5次，收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距

docker — 容器存储_docker 保存容器-程序员宅基地

文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节，实现了多层数据的堆叠，为用户提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制（CoW）策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的，不建议用于生成环境。_docker 保存容器

随便推点

网络拓扑结构_网络拓扑csdn-程序员宅基地

文章浏览阅读834次，点赞27次，收藏13次。网络拓扑结构是指计算机网络中各组件（如计算机、服务器、打印机、路由器、交换机等设备）及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式，也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn

JS重写Date函数，兼容IOS系统_date.prototype 将所有 ios-程序员宅基地

文章浏览阅读1.8k次，点赞5次，收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时，通常的做法是：new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的，而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠，也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑，需要做一些额外的特殊处理，笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数，一劳永逸，避免每次ne_date.prototype 将所有 ios