SegFormer_b3

This model is a fine-tuned version of nvidia/segformer-b1-finetuned-cityscapes-1024-1024 on the Cityscapes dataset. It achieves the following results on the evaluation set:

• Loss: 0.2005
• Mean Iou: 0.3978
• Mean Accuracy: 0.4656
• Overall Accuracy: 0.8945
• Accuracy Unlabeled: nan
• Accuracy Ego vehicle: nan
• Accuracy Rectification border: nan
• Accuracy Out of roi: nan
• Accuracy Static: nan
• Accuracy Dynamic: nan
• Accuracy Ground: nan
• Accuracy Road: 0.9799
• Accuracy Sidewalk: 0.8107
• Accuracy Parking: nan
• Accuracy Rail track: nan
• Accuracy Building: 0.9339
• Accuracy Wall: 0.0010
• Accuracy Fence: 0.2453
• Accuracy Guard rail: nan
• Accuracy Bridge: nan
• Accuracy Tunnel: nan
• Accuracy Pole: 0.4987
• Accuracy Polegroup: nan
• Accuracy Traffic light: 0.5398
• Accuracy Traffic sign: 0.5906
• Accuracy Vegetation: 0.9314
• Accuracy Terrain: 0.5339
• Accuracy Sky: nan
• Accuracy Person: 0.7090
• Accuracy Rider: 0.0
• Accuracy Car: 0.9405
• Accuracy Truck: 0.0
• Accuracy Bus: 0.0
• Accuracy Caravan: nan
• Accuracy Trailer: nan
• Accuracy Train: 0.0
• Accuracy Motorcycle: 0.0
• Accuracy Bicycle: 0.6671
• Accuracy License plate: nan
• Iou Unlabeled: nan
• Iou Ego vehicle: nan
• Iou Rectification border: nan
• Iou Out of roi: nan
• Iou Static: nan
• Iou Dynamic: nan
• Iou Ground: nan
• Iou Road: 0.9529
• Iou Sidewalk: 0.6897
• Iou Parking: nan
• Iou Rail track: nan
• Iou Building: 0.7837
• Iou Wall: 0.0010
• Iou Fence: 0.2191
• Iou Guard rail: nan
• Iou Bridge: nan
• Iou Tunnel: nan
• Iou Pole: 0.3783
• Iou Polegroup: nan
• Iou Traffic light: 0.4123
• Iou Traffic sign: 0.5102
• Iou Vegetation: 0.8518
• Iou Terrain: 0.4632
• Iou Sky: nan
• Iou Person: 0.5619
• Iou Rider: 0.0
• Iou Car: 0.8270
• Iou Truck: 0.0
• Iou Bus: 0.0
• Iou Caravan: nan
• Iou Trailer: nan
• Iou Train: 0.0
• Iou Motorcycle: 0.0
• Iou Bicycle: 0.5085
• Iou License plate: nan

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0006
• train_batch_size: 2
• eval_batch_size: 2
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 8
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 30
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Mean Iou	Mean Accuracy	Overall Accuracy	Accuracy Unlabeled	Accuracy Ego vehicle	Accuracy Rectification border	Accuracy Out of roi	Accuracy Static	Accuracy Dynamic	Accuracy Ground	Accuracy Road	Accuracy Sidewalk	Accuracy Parking	Accuracy Rail track	Accuracy Building	Accuracy Wall	Accuracy Fence	Accuracy Guard rail	Accuracy Bridge	Accuracy Tunnel	Accuracy Pole	Accuracy Polegroup	Accuracy Traffic light	Accuracy Traffic sign	Accuracy Vegetation	Accuracy Terrain	Accuracy Sky	Accuracy Person	Accuracy Rider	Accuracy Car	Accuracy Truck	Accuracy Bus	Accuracy Caravan	Accuracy Trailer	Accuracy Train	Accuracy Motorcycle	Accuracy Bicycle	Accuracy License plate	Iou Unlabeled	Iou Ego vehicle	Iou Rectification border	Iou Out of roi	Iou Static	Iou Dynamic	Iou Ground	Iou Road	Iou Sidewalk	Iou Parking	Iou Rail track	Iou Building	Iou Wall	Iou Fence	Iou Guard rail	Iou Bridge	Iou Tunnel	Iou Pole	Iou Polegroup	Iou Traffic light	Iou Traffic sign	Iou Vegetation	Iou Terrain	Iou Sky	Iou Person	Iou Rider	Iou Car	Iou Truck	Iou Bus	Iou Caravan	Iou Trailer	Iou Train	Iou Motorcycle	Iou Bicycle	Iou License plate
3.6819	1.3333	100	0.9097	0.1916	0.2569	0.8080	nan	nan	nan	nan	nan	nan	nan	0.8821	0.9677	nan	nan	0.8524	0.0	0.0	nan	nan	nan	0.0	nan	0.0	0.0	0.9497	0.0136	nan	0.0	0.0	0.9592	0.0	0.0	nan	nan	0.0	0.0	0.0	nan	nan	nan	nan	nan	nan	nan	nan	0.8746	0.4414	nan	nan	0.7096	0.0	0.0	nan	nan	nan	0.0	nan	0.0	0.0	0.7285	0.0136	nan	0.0	0.0	0.6806	0.0	0.0	nan	nan	0.0	0.0	0.0	nan
3.5168	2.6667	200	0.8720	0.2888	0.3680	0.8630	nan	nan	nan	nan	nan	nan	nan	0.9708	0.8932	nan	nan	0.8868	0.0	0.0	nan	nan	nan	0.1774	nan	0.0	0.5643	0.9552	0.6478	nan	0.0595	0.0	0.9307	0.0	0.0	nan	nan	0.0	0.0	0.5380	nan	nan	nan	nan	nan	nan	nan	nan	0.9471	0.6558	nan	nan	0.7944	0.0	0.0	nan	nan	nan	0.0831	nan	0.0	0.3769	0.7971	0.3345	nan	0.0592	0.0	0.7911	0.0	0.0	nan	nan	0.0	0.0	0.3599	nan
3.3612	4.0	300	0.8334	0.3763	0.4903	0.8702	nan	nan	nan	nan	nan	nan	nan	0.9601	0.8312	nan	nan	0.8265	0.1725	0.5157	nan	nan	nan	0.6467	nan	0.5563	0.6298	0.9128	0.4616	nan	0.8358	0.0	0.9139	0.0	0.0	nan	nan	0.0	0.0	0.5616	nan	nan	nan	nan	nan	nan	nan	nan	0.9478	0.6524	nan	nan	0.7465	0.1284	0.2961	nan	nan	nan	0.2945	nan	0.2809	0.4369	0.8234	0.3469	nan	0.5131	0.0	0.8322	0.0	0.0	nan	nan	0.0	0.0	0.4733	nan
3.2937	5.3333	400	0.8253	0.3850	0.4920	0.8821	nan	nan	nan	nan	nan	nan	nan	0.9746	0.7559	nan	nan	0.9173	0.2725	0.4995	nan	nan	nan	0.4240	nan	0.5192	0.5974	0.8877	0.4622	nan	0.6364	0.2025	0.9565	0.0	0.0	nan	nan	0.0	0.0	0.7504	nan	nan	nan	nan	nan	nan	nan	nan	0.9401	0.6195	nan	nan	0.8095	0.2138	0.2816	nan	nan	nan	0.3319	nan	0.3291	0.4741	0.8330	0.3227	nan	0.5108	0.0834	0.7902	0.0	0.0	nan	nan	0.0	0.0	0.3900	nan
3.431	6.6667	500	0.8247	0.3945	0.5105	0.8820	nan	nan	nan	nan	nan	nan	nan	0.9640	0.7894	nan	nan	0.8835	0.4637	0.5429	nan	nan	nan	0.4049	nan	0.4102	0.5474	0.9152	0.6722	nan	0.8082	0.1119	0.9502	0.0	0.0	nan	nan	0.0	0.0001	0.7252	nan	nan	nan	nan	nan	nan	nan	nan	0.9509	0.6575	nan	nan	0.8100	0.2296	0.2290	nan	nan	nan	0.3135	nan	0.3120	0.4647	0.8335	0.4121	nan	0.5200	0.0838	0.7982	0.0	0.0	nan	nan	0.0	0.0001	0.4857	nan
3.3843	8.0	600	0.8209	0.4022	0.5317	0.8772	nan	nan	nan	nan	nan	nan	nan	0.9641	0.8445	nan	nan	0.8527	0.5229	0.3995	nan	nan	nan	0.5189	nan	0.5287	0.6258	0.9159	0.5684	nan	0.7938	0.2234	0.8978	0.0	0.0	nan	nan	0.0	0.1760	0.7375	nan	nan	nan	nan	nan	nan	nan	nan	0.9459	0.6402	nan	nan	0.7783	0.2110	0.2458	nan	nan	nan	0.3486	nan	0.3414	0.3898	0.8342	0.3566	nan	0.5556	0.1658	0.8100	0.0	0.0	nan	nan	0.0	0.0988	0.5177	nan
3.3182	9.3333	700	0.8220	0.3985	0.5052	0.8785	nan	nan	nan	nan	nan	nan	nan	0.9733	0.7402	nan	nan	0.9542	0.5008	0.1732	nan	nan	nan	0.4701	nan	0.5893	0.5403	0.8605	0.5030	nan	0.5798	0.4709	0.9061	0.0	0.0009	nan	nan	0.0	0.1806	0.6511	nan	nan	nan	nan	nan	nan	nan	nan	0.9451	0.6274	nan	nan	0.7736	0.2133	0.1386	nan	nan	nan	0.3440	nan	0.3535	0.4812	0.8217	0.3869	nan	0.4984	0.2059	0.8303	0.0	0.0009	nan	nan	0.0	0.1124	0.4407	nan
3.3125	10.6667	800	0.8112	0.4382	0.5617	0.8918	nan	nan	nan	nan	nan	nan	nan	0.9826	0.7279	nan	nan	0.9156	0.4140	0.3158	nan	nan	nan	0.4967	nan	0.5814	0.6258	0.9157	0.4678	nan	0.7503	0.2826	0.9170	0.0	0.7746	nan	nan	0.0	0.2892	0.6542	nan	nan	nan	nan	nan	nan	nan	nan	0.9465	0.6321	nan	nan	0.8218	0.2656	0.2318	nan	nan	nan	0.3616	nan	0.3687	0.5101	0.8457	0.3502	nan	0.5828	0.1900	0.8452	0.0	0.2774	nan	nan	0.0	0.1888	0.4696	nan
3.2327	12.0	900	0.8133	0.4324	0.5705	0.8916	nan	nan	nan	nan	nan	nan	nan	0.9786	0.7767	nan	nan	0.9054	0.4437	0.4810	nan	nan	nan	0.4592	nan	0.5330	0.5706	0.9423	0.4758	nan	0.5410	0.5342	0.9070	0.0001	0.5615	nan	nan	0.0	0.3271	0.8319	nan	nan	nan	nan	nan	nan	nan	nan	0.9527	0.6790	nan	nan	0.8201	0.2626	0.2969	nan	nan	nan	0.3529	nan	0.3645	0.5033	0.8486	0.4007	nan	0.4813	0.1780	0.8190	0.0000	0.2336	nan	nan	0.0	0.1436	0.4468	nan
3.2772	13.3333	1000	0.8118	0.4461	0.5848	0.8900	nan	nan	nan	nan	nan	nan	nan	0.9675	0.8022	nan	nan	0.9057	0.4430	0.3203	nan	nan	nan	0.5423	nan	0.5617	0.5703	0.9277	0.4807	nan	0.7258	0.3603	0.8927	0.0017	0.8502	nan	nan	0.0	0.4148	0.7587	nan	nan	nan	nan	nan	nan	nan	nan	0.9486	0.6491	nan	nan	0.8153	0.2935	0.2347	nan	nan	nan	0.3722	nan	0.3910	0.4541	0.8485	0.3527	nan	0.5648	0.2529	0.8409	0.0015	0.2668	nan	nan	0.0	0.2401	0.5032	nan
3.2655	14.6667	1100	0.8134	0.4439	0.5657	0.8912	nan	nan	nan	nan	nan	nan	nan	0.9790	0.6983	nan	nan	0.9361	0.4543	0.1532	nan	nan	nan	0.4737	nan	0.4873	0.6551	0.9270	0.5869	nan	0.6551	0.4939	0.9260	0.0390	0.5783	nan	nan	0.0	0.5178	0.6208	nan	nan	nan	nan	nan	nan	nan	nan	0.9466	0.6239	nan	nan	0.8147	0.3047	0.1252	nan	nan	nan	0.3603	nan	0.3455	0.5015	0.8533	0.4609	nan	0.5469	0.2600	0.8242	0.0258	0.2700	nan	nan	0.0	0.2401	0.4863	nan
3.2841	16.0	1200	0.8083	0.4463	0.5656	0.8928	nan	nan	nan	nan	nan	nan	nan	0.9794	0.7238	nan	nan	0.9171	0.2941	0.4156	nan	nan	nan	0.5504	nan	0.4989	0.5591	0.9202	0.5055	nan	0.7092	0.4410	0.9395	0.0169	0.5307	nan	nan	0.0	0.4149	0.7651	nan	nan	nan	nan	nan	nan	nan	nan	0.9494	0.6429	nan	nan	0.8227	0.2275	0.2485	nan	nan	nan	0.3844	nan	0.3722	0.4937	0.8490	0.4041	nan	0.5726	0.2636	0.8250	0.0150	0.2424	nan	nan	0.0	0.2208	0.4995	nan
3.1519	17.3333	1300	0.8058	0.4663	0.5814	0.9007	nan	nan	nan	nan	nan	nan	nan	0.9814	0.7657	nan	nan	0.9227	0.4211	0.4617	nan	nan	nan	0.5054	nan	0.5578	0.5573	0.9293	0.5936	nan	0.7432	0.4163	0.9427	0.0927	0.4866	nan	nan	0.0	0.3694	0.7185	nan	nan	nan	nan	nan	nan	nan	nan	0.9553	0.6833	nan	nan	0.8361	0.2555	0.3345	nan	nan	nan	0.3743	nan	0.3935	0.4795	0.8537	0.4020	nan	0.5869	0.2941	0.8247	0.0773	0.2855	nan	nan	0.0	0.2297	0.5272	nan
3.1031	18.6667	1400	0.8049	0.4777	0.5844	0.9010	nan	nan	nan	nan	nan	nan	nan	0.9722	0.8071	nan	nan	0.9325	0.6270	0.2349	nan	nan	nan	0.5282	nan	0.5145	0.5929	0.9352	0.5315	nan	0.7478	0.2931	0.9271	0.3230	0.5858	nan	nan	0.0	0.3171	0.6497	nan	nan	nan	nan	nan	nan	nan	nan	0.9538	0.6760	nan	nan	0.8228	0.3377	0.1927	nan	nan	nan	0.3939	nan	0.3957	0.5162	0.8635	0.4307	nan	0.5945	0.2419	0.8541	0.2123	0.3833	nan	nan	0.0	0.2205	0.5101	nan
3.3333	20.0	1500	0.8054	0.4811	0.6115	0.8993	nan	nan	nan	nan	nan	nan	nan	0.9740	0.7904	nan	nan	0.9272	0.5676	0.2824	nan	nan	nan	0.5457	nan	0.6234	0.6561	0.9349	0.5165	nan	0.6369	0.5465	0.9158	0.3922	0.6308	nan	nan	0.0	0.3288	0.7371	nan	nan	nan	nan	nan	nan	nan	nan	0.9563	0.6802	nan	nan	0.8143	0.3653	0.2124	nan	nan	nan	0.3904	nan	0.4002	0.5414	0.8629	0.4470	nan	0.5301	0.2112	0.8527	0.2724	0.3989	nan	nan	0.0	0.2117	0.5119	nan
3.2362	21.3333	1600	0.7991	0.5111	0.6532	0.9070	nan	nan	nan	nan	nan	nan	nan	0.9774	0.8026	nan	nan	0.9248	0.5749	0.3866	nan	nan	nan	0.5371	nan	0.5863	0.6434	0.9322	0.6463	nan	0.7627	0.5056	0.9236	0.6663	0.8069	nan	nan	0.0	0.3910	0.6892	nan	nan	nan	nan	nan	nan	nan	nan	0.9594	0.7125	nan	nan	0.8367	0.3918	0.3015	nan	nan	nan	0.3901	nan	0.4282	0.5436	0.8612	0.4851	nan	0.6028	0.2690	0.8571	0.3622	0.3994	nan	nan	0.0	0.2828	0.5153	nan
3.1479	22.6667	1700	0.7992	0.5170	0.6476	0.9075	nan	nan	nan	nan	nan	nan	nan	0.9795	0.7672	nan	nan	0.9306	0.4524	0.4345	nan	nan	nan	0.5213	nan	0.6093	0.6431	0.9351	0.6041	nan	0.7803	0.4262	0.9326	0.7119	0.6591	nan	nan	0.0	0.4828	0.7877	nan	nan	nan	nan	nan	nan	nan	nan	0.9557	0.6830	nan	nan	0.8324	0.3471	0.3533	nan	nan	nan	0.3993	nan	0.4305	0.5529	0.8670	0.4730	nan	0.6137	0.2879	0.8525	0.3981	0.4231	nan	nan	0.0	0.3000	0.5371	nan
3.1489	24.0	1800	0.7998	0.5173	0.6436	0.9081	nan	nan	nan	nan	nan	nan	nan	0.9784	0.8081	nan	nan	0.9230	0.5567	0.4600	nan	nan	nan	0.5262	nan	0.5991	0.6540	0.9431	0.5327	nan	0.7243	0.4144	0.9283	0.6236	0.7156	nan	nan	0.0	0.4618	0.7360	nan	nan	nan	nan	nan	nan	nan	nan	0.9599	0.7100	nan	nan	0.8320	0.4076	0.3320	nan	nan	nan	0.3948	nan	0.4360	0.5497	0.8660	0.4444	nan	0.5999	0.3002	0.8548	0.3613	0.3867	nan	nan	0.0	0.3235	0.5534	nan
3.1682	25.3333	1900	0.7934	0.5162	0.6289	0.9098	nan	nan	nan	nan	nan	nan	nan	0.9806	0.8194	nan	nan	0.9214	0.5199	0.4103	nan	nan	nan	0.5419	nan	0.6013	0.6294	0.9476	0.5769	nan	0.7706	0.4091	0.9344	0.5272	0.5265	nan	nan	0.0	0.4416	0.7617	nan	nan	nan	nan	nan	nan	nan	nan	0.9611	0.7184	nan	nan	0.8347	0.4072	0.3174	nan	nan	nan	0.3991	nan	0.4310	0.5486	0.8625	0.4611	nan	0.6253	0.2987	0.8488	0.3765	0.3712	nan	nan	0.0	0.2830	0.5464	nan
0.78	26.6667	2000	0.2157	0.3595	0.4159	0.8783	nan	nan	nan	nan	nan	nan	nan	0.9785	0.7979	nan	nan	0.9516	0.0	0.0343	nan	nan	nan	0.4658	nan	0.4259	0.5335	0.8972	0.5503	nan	0.4089	0.0	0.9063	0.0	0.0	nan	nan	0.0	0.0	0.5356	nan	nan	nan	nan	nan	nan	nan	nan	0.9412	0.6504	nan	nan	0.7485	0.0	0.0341	nan	nan	nan	0.3506	nan	0.3703	0.4682	0.8372	0.4311	nan	0.3803	0.0	0.7895	0.0	0.0	nan	nan	0.0	0.0	0.4696	nan
0.8695	28.0	2100	0.2042	0.3952	0.4621	0.8932	nan	nan	nan	nan	nan	nan	nan	0.9799	0.8181	nan	nan	0.9340	0.0009	0.3852	nan	nan	nan	0.4783	nan	0.4604	0.5427	0.9258	0.5914	nan	0.6337	0.0	0.9350	0.0	0.0	nan	nan	0.0	0.0	0.6333	nan	nan	nan	nan	nan	nan	nan	nan	0.9504	0.6841	nan	nan	0.7884	0.0009	0.3059	nan	nan	nan	0.3685	nan	0.3815	0.4831	0.8517	0.4688	nan	0.5246	0.0	0.8075	0.0	0.0	nan	nan	0.0	0.0	0.4978	nan
0.6709	29.3333	2200	0.2005	0.3978	0.4656	0.8945	nan	nan	nan	nan	nan	nan	nan	0.9799	0.8107	nan	nan	0.9339	0.0010	0.2453	nan	nan	nan	0.4987	nan	0.5398	0.5906	0.9314	0.5339	nan	0.7090	0.0	0.9405	0.0	0.0	nan	nan	0.0	0.0	0.6671	nan	nan	nan	nan	nan	nan	nan	nan	0.9529	0.6897	nan	nan	0.7837	0.0010	0.2191	nan	nan	nan	0.3783	nan	0.4123	0.5102	0.8518	0.4632	nan	0.5619	0.0	0.8270	0.0	0.0	nan	nan	0.0	0.0	0.5085	nan

Framework versions

• Transformers 4.47.1
• Pytorch 2.5.1+cu121
• Datasets 3.2.0
• Tokenizers 0.21.0