比赛简介：

任务1：推荐最佳交通方式

任务描述：给定用户的一些信息，预测用户使用何种最佳交通方式由O(起点)到D(终点）

数据描述：

profiles.csv：

属性pid:用户的ID；

属性p0~p65:用户的个人信息（如身高，年龄，职业等）

训练集(.10.1~.11.30两个月的数据)：

train_clicks.csv：

属性sid：用户的会话ID，如用户登陆一个app去使用就会有一个会话ID（可以百度了解)；

属性click_time: 用户点击某种方案的时间；

属性click_mode:用户选择了某种出行方式(****这是训练集的label标签****)

train_plans.csv：

属性sid：用户的会话ID，如用户登陆一个app去使用就会有一个会话ID（可以百度了解)；

属性plan_time:用户准备查询如何去目的点的时间；

属性plans:这个信息是基于百度地图推荐的方案（包括距离，需要的时间，价格，交通方式），注：交通方式可能是某些组合，如taxi-bus

train_queries.csv：

属性sid：用户的会话ID，如用户登陆一个app去使用就会有一个会话ID（可以百度了解)；

属性pid:用户的ID；

属性req_time:和plan_time几乎一样，用户查询的时间(并不是完全一样的,有的有一些时间差,猜测可能是手机的网速等问题)；

属性o:起点的经纬度；

属性d:终点的经纬度

测试集(.12.1~.12.7七天的数据)：

test_plans.csv：

属性sid：用户的会话ID，如用户登陆一个app去使用就会有一个会话ID（可以百度了解)；

属性plan_time:用户准备查询如何去目的点的时间；

属性plans:这个信息是基于百度地图推荐的方案（包括距离，需要的时间，价格，交通方式），注：交通方式可能是某些组合，如taxi-bus

test_queries.csv：

属性sid：用户的会话ID，如用户登陆一个app去使用就会有一个会话ID（可以百度了解)；

属性pid:用户的ID；

属性req_time:和plan_time几乎一样，用户查询的时间(并不是完全一样的,有的有一些时间差,猜测可能是手机的网速等问题)；

属性o:起点的经纬度；

属性d:终点的经纬度

任务就是根据训练集的数据来训练模型，然后将测试集的特征放入模型，预测每个用户出行的交通选择方式(即训练集中的click_mode属性)

开源代码如下：

2.1工具包导入

import numpy as np

import pandas as pd

import lightgbm as lgb

import os

import seaborn as sns

import matplotlib.pyplot as plt

%matplotlib inline

import warnings

warnings.filterwarnings("ignore")

from tqdm import tqdm

import json

from sklearn.metrics import f1_score

from sklearn.model_selection import StratifiedKFold

from sklearn.feature_extraction.text import TfidfVectorizer

from sklearn.decomposition import TruncatedSVD

from itertools import product

import ast

2.2数据读取

path = 'E:/data/data_set_phase1/'

train_queries = pd.read_csv(path + 'train_queries.csv', parse_dates=['req_time'])

train_plans = pd.read_csv(path + 'train_plans.csv', parse_dates=['plan_time'])

train_clicks = pd.read_csv(path + 'train_clicks.csv')

profiles = pd.read_csv(path + 'profiles.csv')

test_queries = pd.read_csv(path + 'test_queries.csv', parse_dates=['req_time'])

test_plans = pd.read_csv(path + 'test_plans.csv', parse_dates=['plan_time'])

3特征工程

此处我们对所有表格进行合并,这样方便提取表格之间的交互特征,注意因为初赛的数据相对较少,所以我们才合在一起,不然尽量不要做,这样会给机器的内存带来非常大的负担.

3.1数据集合并

train = train_queries.merge(train_plans, 'left', ['sid'])

test = test_queries.merge(test_plans, 'left', ['sid'])

train = train.merge(train_clicks, 'left', ['sid'])

train['click_mode'] = train['click_mode'].fillna(0).astype(int)

data = pd.concat([train, test], ignore_index=True)

data = data.merge(profiles, 'left', ['pid'])

3.2od(经纬度)特征

因为经纬度是组合字符串特征,此处我们对其进行还原,因为o,d本身是有相对大小关系的,我们不再对其进行编码。

data['o_lng'] = data['o'].apply(lambda x: float(x.split(',')[0]))

data['o_lat'] = data['o'].apply(lambda x: float(x.split(',')[1]))

data['d_lng'] = data['d'].apply(lambda x: float(x.split(',')[0]))

data['d_lat'] = data['d'].apply(lambda x: float(x.split(',')[1]))

3.3plan_time & req_time特征

3.3.1原始特征

时间信息会影响我们的决定,比如大晚上从A地到B地其实很多人是不会选择步行的,更多的会选择打车之类的,因为太黑了,怕迷路等;而如果是早高峰,而且离公司就几公里的情况, 那么一般就不会打车，因为特别会容易堵车,这个时候大家更喜欢骑自行车.

此处我们提取weekday来标志是周几; hour来标志是当日几点.

time_feature = []

for i in ['req_time']:

data[i + '_hour'] = data[i].dt.hour

data[i + '_weekday'] = data[i].dt.weekday

time_feature.append(i + '_hour')

time_feature.append(i + '_weekday')

3.3.2plan_time & req_time差值特征

我们做EDA的时候发现plan_time和req_time并不是完全一样的,有的有一些时间差,我们猜测可能是手机的网速等问题,所以我们做差值来标志用户的手机信号等信息.

data['time_diff'] = data['plan_time'].astype(int) - data['req_time'].astype(int)

time_feature.append('time_diff')

3.4plans特征

plans这个数据集包含的信息非常多,因为这个信息是基于百度地图推荐的。所以毫无疑问是本次比赛的关键之一,我们对其进行展开并提取相关的特征。

此处我发现kdd已经有大佬开源了plans的特征提取关键代码,我感觉很不错,此处我便直接引用,至于其他的特征欢迎去作者的Github下载.

此处关于plans的特征主要可以归纳为如下的特征:

百度地图推荐的距离的统计值(mean,min,max,std)

各种交通方式的价格的统计值(mean,min,max,std)

各种交通方式的时间的统计值(mean,min,max,std)

一些其他的特征,最大距离的交通方式,最高价格的交通方式,最短时间的交通方式等.

data['plans_json'] = data['plans'].fillna('[]').apply(lambda x: json.loads(x))

def gen_plan_feas(data):

n = data.shape[0]

mode_list_feas = np.zeros((n, 12))

max_dist, min_dist, mean_dist, std_dist = np.zeros((n,)), np.zeros((n,)), np.zeros((n,)), np.zeros((n,))

max_price, min_price, mean_price, std_price = np.zeros((n,)), np.zeros((n,)), np.zeros((n,)), np.zeros((n,))

max_eta, min_eta, mean_eta, std_eta = np.zeros((n,)), np.zeros((n,)), np.zeros((n,)), np.zeros((n,))

min_dist_mode, max_dist_mode, min_price_mode, max_price_mode, min_eta_mode, max_eta_mode, first_mode = \

np.zeros((n,)), np.zeros((n,)), np.zeros((n,)), np.zeros((n,)), np.zeros((n,)), np.zeros((n,)), np.zeros((n,))

mode_texts = []

for i, plan in tqdm(enumerate(data['plans_json'].values)):

if len(plan) == 0:

cur_plan_list = []

else:

cur_plan_list = plan

if len(cur_plan_list) == 0:

mode_list_feas[i, 0] = 1

first_mode[i] = 0

max_dist[i] = -1

min_dist[i] = -1

mean_dist[i] = -1

std_dist[i] = -1

max_price[i] = -1

min_price[i] = -1

mean_price[i] = -1

std_price[i] = -1

max_eta[i] = -1

min_eta[i] = -1

mean_eta[i] = -1

std_eta[i] = -1

min_dist_mode[i] = -1

max_dist_mode[i] = -1

min_price_mode[i] = -1

max_price_mode[i] = -1

min_eta_mode[i] = -1

max_eta_mode[i] = -1

mode_texts.append('word_null')

else:

distance_list = []

price_list = []

eta_list = []

mode_list = []

for tmp_dit in cur_plan_list:

distance_list.append(int(tmp_dit['distance']))

if tmp_dit['price'] == '':

price_list.append(0)

else:

price_list.append(int(tmp_dit['price']))

eta_list