<<VectorNet: Encoding HD Maps and Agent Dynamics from Vectorized Representation>>是Google Waymo在2020年放出Paper，如论文题目所表达的，其核心贡献在于提出了一种针对HDMap和车辆轨迹的矢量化Encoding方式，相对于以往图像+Conv的编码方式，不仅极大的降低了神经网络的训练参数，在实际的车辆轨迹预测中也取得了不错的效果。
论文链接: https:///pdf/2005.04259.pdf
栅格Encoding VS 矢量Encoding 网上关于论文的解读已经很多，本文主要记录下代码复现过程和自己的一些理解。
Part1 环境准备 论文中使用了公开数据集Argoverse Dataset。
数据集和高精地图下载地址 ：
https://www./data.html#download-link
Argoverse轨迹数据和高精地图数据 高精地图API :
除了高精地图数据，Argoverse还提供了开源的地图查询的API，GitHub地址如下：
https://github.com/argoai/argoverse-api
安装的方法wiki中有详细的说明，不赘述。API提供了很多数据加载查询和可视化的方法。
Argoverse运动预测竞赛
除此之外，Argoverse还有一个运动预测的挑战赛，官方提供了一些Base Line的算法实现，有些代码可以直接拿过用。代码的Github地址：https://github.com/jagjeet-singh/argoverse-forecasting
官方Base Line的Montion Prediction实现 Part2 数据预处理 高精地图数据和轨迹数据下载完成之后，进行模型训练前先要对数据进行预处理。
Argoverse Motion Forecasting数据集的每个数据序列中类型为Agent的轨迹是用于预测的轨迹，该轨迹采样频率为10HZ，采样时长为5s，通常我们用前2s的轨迹作为观察序列，后3s作为轨迹预测的真值来训练神经网络。
seq_df = pd.read_csv(seq_path)'OBJECT_TYPE' ] == 'AGENT' ]['X' ]'OBJECT_TYPE' ] == 'AGENT' ]['Y' ]'OBJECT_TYPE' ] == 'AGENT' ]['TIMESTAMP' ]'CITY_NAME' ].values[0 ]
1 坐标系处理 为了避免神经网络对绝对坐标的依赖，同时降低神经网络的训练难度，论文中对坐标系进行了标准化处理：将坐标系的原点移到Tatget Agent的Observe序列的最后一个点，同时以该点的朝向作为x轴的正向。
论文中对坐标系的描述如下：
实现代码如下：
base_pt = agent_traj[args.obs_len - 1 ]平移和旋转坐标序列的代码如下。函数返回标准化的轨迹坐标序列以及旋转的角度。高精地图和所有车辆轨迹的标准化都使用这个函数。
def normalized_traj (args, xy_seq, base_pt) :# First apply translation 1 , 0 , 0 , 1 , -base_pt[0 ], -base_pt[1 ]]# Now apply rotation, taking care of edge cases if end[0 ] == 0 and end[1 ] == 0 :0.0 elif end[0 ] == 0 :-90.0 if end[1 ] > 0 else 90.0 elif end[1 ] == 0 :0.0 if end[0 ] > 0 else 180.0 else :1 ] / end[0 ]))if (end[0 ] > 0 and end[1 ] > 0 ) or (end[0 ] > 0 and end[1 ] < 0 ):else :180.0 - angle# Rotate the trajetory 0 , 0 )).coords[:]# Normalized trajectory return norm_xy, angle
2 高精地图数据预处理 车道中心线插值 论文中用均匀采样的离散点序列表达高精地图，具体的处理手法如下：
Argoverse Motion Prediction数据集中只提供了矢量的车道中心线，道路边界、车道边界都是多边形，不好处理，因此我只使用了车道中心线。
在将车道中心线表述为向量之前，先对中心线进行插值。这里以0.1m的间隔对车道中心线进行插值。插值代码如下:
def interpolate_polyline_n(polyline, num_points):高精地图的向量表达 高精地图训练数据的总体表达分为三层：每个Seq是一个Graph，每一个车道中心线是一个PolyLine，每个Polyline包含多个vector。在我们的实现中，每个vector是长度为9为向量，每个Polyline最多包含100个vector，每个Graph最多包含200个Polyline。
--Graph_1
------PolyLine_1
-----------vector_1
-----------vector_2
-----------......
------PolyLine_2
-----------vector_1
-----------vector_2
-----------......
--Graph_2
--.........
Vector数据组织 按照论文的表述，将车道中心线表达为向量形式。
其中：
实现代码如下:
has_traffic_contrl = avm.lane_has_traffic_control_measure(lane_id, city_name)for cl_indx in range(1 , len(center_line)):1 ]# offset to the last observed point 0 ], cl_0[1 ]])0 ], cl_1[1 ]])# object type: lane 1 )if has_traffic_contrl == True :1 )else :-1 )if turn == 'LEFT' :1 )elif turn == 'RIGHT' :-1 )else :0.5 )if in_intersection == True :1 )else :-1 )
解决车道线长短不一的问题
由于车道中心线长短不一，为了解决向量长度差异比较大的问题，将长度超过100m的车道做了打断处理。
Polyline的数据组织 Polyline包含多个Vector，我们代码中设置最多包含100个Vector，不足100个用0补齐，多于100个直接截断；同时设置一个mask数组，记录哪些是真实数据，哪些是补齐的数据。
代码如下:
lane_features_mask = [True ] * len(lane_features)if len(lane_features) < args.max_features_in_elems:False ] * (args.max_features_in_elems - len(lane_features))0 ] * args.max_feature_dim] * (args.max_features_in_elems - len(lane_features))else :Graph的数据组织 Graph包含多个Polyline，我们代码中设置最多包含200个Polyline，不足200个用0补齐，多于200个直接截断；同时也设置一个mask数组，记录哪些是真实数据，哪些是补齐的数据。
代码如下:
graph_mask = [True ] * len(sub_graph)if len(sub_graph) < args.max_elems_in_sub_graph:False ] * args.max_features_in_elems] * (args.max_elems_in_sub_graph - len(sub_graph))False ] * (args.max_elems_in_sub_graph - len(sub_graph)))0 ] * args.max_feature_dim] * args.max_features_in_elems] * (args.max_elems_in_sub_graph - len(sub_graph))else :
其它 除了地图数据之外，论文中还进行了Graph Completion和Position Encoding。
Graph Completion
随机Mask的代码如下：
node_mask = np.array(graph_mask)True )5 # (int)(lane_idxs.shape[0] * 0.3) 1 , lane_idxs.shape[0 ]), size = random_cnt, replace = False )False )True Position Encoding
Position Encoding的实现很简单，取每个polyline的坐标最小数值即可。
sub_pids.append([np.array(lane_features)[:, [0 , 2 ]].min(), np.array(lane_features)[:, [1 , 3 ]].min()])
3 Agent轨迹数据预处理 Agent分为Target Agent和Other Agent两个分类，Target Agent是待预测的车辆轨迹，Other Agent是其它车辆的轨迹，这两类轨迹数据的处理方法相同，其向量形式表达如下：
组织代码如下:
agent_features = []# obs_traj for agent_idx in range(1 , len(offset_agent_traj)):1 ]0 ], agent_0[1 ]])0 ], agent_1[1 ]])# object type: agent_traj #timestamp 1 ]0 ])1 ])在处理Other Agent的轨迹，过滤掉了静止的车辆。过滤的方式采用了Argoverse Baseline的代码，将速度低于1m/s的Agent过滤掉。
def compute_velocity (track_df: pd.DataFrame) -> List[float]:'X' ].values'Y' ].values'TIMESTAMP' ].values1 ] /1 ])),1 ] /1 ])),for i in range(1 , len(timestamp))])2 + y**2 ) for x, y in zip(vel_x, vel_y)]return veldef get_is_track_stationary (track_df: pd.DataFrame) -> bool:13 1.0 return True if threshold_vel < VELOCITY_THRESHOLD else False
读取并处理Other Agent的数据。
EXIST_THRESHOLD = 15 'TRACK_ID' )for group_name, group_data in other_agent_groups:# Check if the track is long enough if len(group_data) < EXIST_THRESHOLD:continue # Skip if agent track if group_data['OBJECT_TYPE' ].iloc[0 ] == 'AGENT' :continue if get_is_track_stationary(group_data):continue 'X' ].values'Y' ].values'TIMESTAMP' ].values3 , origin_center_lines, sub_pids, sub_graph, sub_graph_mask)读取并处理Target Agent数据。
agent_x = seq_df[seq_df['OBJECT_TYPE' ] == 'AGENT' ]['X' ]'OBJECT_TYPE' ] == 'AGENT' ]['Y' ]'OBJECT_TYPE' ] == 'AGENT' ]['TIMESTAMP' ].values1 ]2 , origin_center_lines, sub_pids, sub_graph, sub_graph_mask)
Part3 训练效果 完整训练Argoverse数据耗时比较长，先用200个Sequence进行训练调试。
20/25, loss:55.78622817993164下图中黄色是Observe序列，紫色是Ground Truth，绿色是预测结果。
转弯车道的训练结果很差，完全没学会... 可能是训练数据太少吧，也可能网络有Bug，以后慢慢调吧，嘿嘿...
Part4 参考资料 1.https://github.com/xk-huang/yet-another-vectornet
2.https://github.com/DQSSSSS/VectorNet
