updated_model

README.md

@@ -13,13 +13,13 @@ model-index:
     metrics:
     - name: NER Precision
       type: precision
-      value: 0.9933510638
+      value: 1.0
     - name: NER Recall
       type: recall
-      value: 0.9933510638
+      value: 1.0
     - name: NER F Score
       type: f_score
-      value: 0.9933510638
+      value: 1.0
 ---
 | Feature | Description |
 | --- | --- |
@@ -37,11 +37,11 @@ model-index:
 
 <details>
 
-<summary>View label scheme (14 labels for 1 components)</summary>
+<summary>View label scheme (6 labels for 1 components)</summary>
 
 | Component | Labels |
 | --- | --- |
-| **`ner`** | `BOOK`, `COMODITY`, `CONTAINER COUNT`, `CONTAINER SIZE`, `CONTAINER SIZE-COUNT`, `DESTINATION`, `ENQUIRY`, `HELP`, `INCOTERM`, `KYC`, `ORIGIN`, `SEARCH RATES`, `SHIP`, `SHIPMENT TYPE` |
+| **`ner`** | `CONTAINER COUNT`, `CONTAINER SIZE`, `DESTINATION`, `ORIGIN`, `SEARCH RATES`, `SHIP` |
 
 </details>
 
@@ -49,8 +49,8 @@ model-index:
 
 | Type | Score |
 | --- | --- |
-| `ENTS_F` | 99.34 |
-| `ENTS_P` | 99.34 |
-| `ENTS_R` | 99.34 |
-| `TOK2VEC_LOSS` | 5568.07 |
-| `NER_LOSS` | 65800.38 |
+| `ENTS_F` | 100.00 |
+| `ENTS_P` | 100.00 |
+| `ENTS_R` | 100.00 |
+| `TOK2VEC_LOSS` | 0.00 |
+| `NER_LOSS` | 0.00 |

en_pipeline-any-py3-none-any.whl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:51570666bda6c6270a18a274e0ff1077c39c19fcd2d495455a80c1109de483b4
-size 5690688
+oid sha256:0dce8a5ad3859f372ec67398c9c712a9570cecdf264eca6f88b1b87722ec6c0b
+size 5661847

meta.json

@@ -20,20 +20,12 @@
 
     ],
     "ner":[
-      "BOOK",
-      "COMODITY",
       "CONTAINER COUNT",
       "CONTAINER SIZE",
-      "CONTAINER SIZE-COUNT",
       "DESTINATION",
-      "ENQUIRY",
-      "HELP",
-      "INCOTERM",
-      "KYC",
       "ORIGIN",
       "SEARCH RATES",
-      "SHIP",
-      "SHIPMENT TYPE"
+      "SHIP"
     ]
   },
   "pipeline":[
@@ -48,83 +40,43 @@
 
   ],
   "performance":{
-    "ents_f":0.9933510638,
-    "ents_p":0.9933510638,
-    "ents_r":0.9933510638,
+    "ents_f":1.0,
+    "ents_p":1.0,
+    "ents_r":1.0,
     "ents_per_type":{
-      "SEARCH RATES":{
-        "p":1.0,
-        "r":1.0,
-        "f":1.0
-      },
       "ORIGIN":{
         "p":1.0,
         "r":1.0,
         "f":1.0
       },
       "DESTINATION":{
-        "p":0.9949494949,
-        "r":0.9949494949,
-        "f":0.9949494949
-      },
-      "BOOK":{
         "p":1.0,
         "r":1.0,
         "f":1.0
       },
-      "SHIP":{
-        "p":1.0,
-        "r":0.9875,
-        "f":0.9937106918
-      },
       "CONTAINER SIZE":{
-        "p":0.9897959184,
-        "r":0.9897959184,
-        "f":0.9897959184
-      },
-      "SHIPMENT TYPE":{
         "p":1.0,
         "r":1.0,
         "f":1.0
       },
-      "ENQUIRY":{
-        "p":0.875,
-        "r":1.0,
-        "f":0.9333333333
-      },
-      "HELP":{
-        "p":1.0,
-        "r":1.0,
-        "f":1.0
-      },
-      "KYC":{
+      "CONTAINER COUNT":{
         "p":1.0,
         "r":1.0,
         "f":1.0
       },
-      "INCOTERM":{
+      "SHIP":{
         "p":1.0,
         "r":1.0,
         "f":1.0
       },
-      "COMODITY":{
-        "p":0.9523809524,
-        "r":0.9523809524,
-        "f":0.9523809524
-      },
-      "CONTAINER COUNT":{
+      "SEARCH RATES":{
         "p":1.0,
         "r":1.0,
         "f":1.0
-      },
-      "CONTAINER SIZE-COUNT":{
-        "p":1.0,
-        "r":0.9615384615,
-        "f":0.9803921569
       }
     },
-    "tok2vec_loss":55.6807094687,
-    "ner_loss":658.0038282882
+    "tok2vec_loss":0.0000000157,
+    "ner_loss":0.0000000471
   },
   "requirements":[
 

ner/moves

@@ -1 +1 @@
-��moves�|{"0":{},"1":{"DESTINATION":310,"ORIGIN":292,"CONTAINER SIZE":174,"SHIP":80,"SHIPMENT TYPE":58,"CONTAINER SIZE-COUNT":39,"COMODITY":31,"BOOK":28,"ENQUIRY":17,"SEARCH RATES":9,"INCOTERM":9,"HELP":8,"CONTAINER COUNT":8,"KYC":2},"2":{"DESTINATION":310,"ORIGIN":292,"CONTAINER SIZE":174,"SHIP":80,"SHIPMENT TYPE":58,"CONTAINER SIZE-COUNT":39,"COMODITY":31,"BOOK":28,"ENQUIRY":17,"SEARCH RATES":9,"INCOTERM":9,"HELP":8,"CONTAINER COUNT":8,"KYC":2},"3":{"DESTINATION":310,"ORIGIN":292,"CONTAINER SIZE":174,"SHIP":80,"SHIPMENT TYPE":58,"CONTAINER SIZE-COUNT":39,"COMODITY":31,"BOOK":28,"ENQUIRY":17,"SEARCH RATES":9,"INCOTERM":9,"HELP":8,"CONTAINER COUNT":8,"KYC":2},"4":{"DESTINATION":310,"ORIGIN":292,"CONTAINER SIZE":174,"SHIP":80,"SHIPMENT TYPE":58,"CONTAINER SIZE-COUNT":39,"COMODITY":31,"BOOK":28,"ENQUIRY":17,"SEARCH RATES":9,"INCOTERM":9,"HELP":8,"CONTAINER COUNT":8,"KYC":2,"":1},"5":{"":1}}�cfg��neg_key�
+��moves�
�{"0":{},"1":{"CONTAINER SIZE":14,"ORIGIN":11,"DESTINATION":11,"SEARCH RATES":5,"CONTAINER COUNT":2,"SHIP":1},"2":{"CONTAINER SIZE":14,"ORIGIN":11,"DESTINATION":11,"SEARCH RATES":5,"CONTAINER COUNT":2,"SHIP":1},"3":{"CONTAINER SIZE":14,"ORIGIN":11,"DESTINATION":11,"SEARCH RATES":5,"CONTAINER COUNT":2,"SHIP":1},"4":{"CONTAINER SIZE":14,"ORIGIN":11,"DESTINATION":11,"SEARCH RATES":5,"CONTAINER COUNT":2,"SHIP":1,"":1},"5":{"":1}}�cfg��neg_key�

tok2vec/model

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:90c58aeec387d9c97a5868b25463b999d68e26b1d2d1c1d74312db2ca551cff8
+oid sha256:651cc15693a94b1c5404f002343346ef9cddf8e4e37beaef10d9fd539c379fcc
 size 6009091

vocab/strings.json

@@ -12,7 +12,6 @@
   "'Cos",
   "'Coz",
   "'Cuz",
-  "'HC",
   "'S",
   "'X",
   "'Xxx",
@@ -25,7 +24,6 @@
   "'cuz",
   "'d",
   "'em",
-  "'hc",
   "'ll",
   "'m",
   "'nuff",
@@ -99,25 +97,16 @@
   ".s.",
   "/",
   "/3",
-  "/40",
   "/d",
   "/or",
   "0",
-  "0'F",
-  "0'f",
   "0.0",
   "0.o",
-  "003",
-  "056",
   "0FT",
-  "0Ft",
   "0HC",
-  "0Hc",
   "0_0",
   "0_o",
-  "0fT",
   "0ft",
-  "0hC",
   "0hc",
   "1",
   "10",
@@ -125,7 +114,6 @@
   "10a.m.",
   "10p.m",
   "10p.m.",
-  "10x20",
   "11",
   "11a.m",
   "11a.m.",
@@ -136,82 +124,37 @@
   "12a.m.",
   "12p.m",
   "12p.m.",
-  "14",
-  "15MT",
-  "15mt",
-  "15x20",
-  "17",
-  "1Ft",
   "1a.m",
   "1a.m.",
-  "1ft",
   "1p.m",
   "1p.m.",
-  "1x",
-  "1x20",
-  "1x40",
   "2",
   "20",
-  "20'FCL",
-  "20'fcl",
-  "20/40",
-  "20/40Hc",
-  "20/40hc",
   "20FT",
-  "20Ft",
-  "20HC",
-  "20X20",
   "20ft",
-  "20hC",
-  "20hc",
-  "20x20",
-  "22",
   "2a.m",
   "2a.m.",
   "2p.m",
   "2p.m.",
-  "2x40",
   "3",
-  "30",
-  "30Hc",
-  "30fT",
-  "30ft",
-  "30hc",
   "33",
   "333",
   "3a.m",
   "3a.m.",
   "3p.m",
   "3p.m.",
-  "3x20",
-  "3x40",
   "4",
-  "40",
-  "40'F",
-  "40'HC",
-  "40'f",
-  "40'hc",
-  "400003",
-  "400056",
-  "40FT",
   "40HC",
-  "40Hc",
-  "40ft",
   "40hc",
   "4a.m",
   "4a.m.",
   "4p.m",
   "4p.m.",
-  "4x40\u2019HQ",
-  "4x40\u2019hq",
   "5",
-  "5MT",
   "5a.m",
   "5a.m.",
-  "5mt",
   "5p.m",
   "5p.m.",
-  "5x20",
   "6",
   "6a.m",
   "6a.m.",
@@ -336,32 +279,18 @@
   ">:o",
   ">:x",
   "><(((*>",
-  "?",
   "@",
   "@_@",
   "A",
-  "AEJEA",
-  "AIR",
-  "ANGELES",
-  "AVA",
-  "Abbas",
-  "Aden",
   "Adm",
   "Adm.",
-  "Africa",
   "Ai",
-  "Air",
-  "Aires",
   "Ak",
   "Ak.",
   "Ala",
   "Ala.",
   "Alabama",
   "Alaska",
-  "Ali",
-  "Almaty",
-  "Also",
-  "Angeles",
   "Apr",
   "Apr.",
   "April",
@@ -372,91 +301,43 @@
   "Ark",
   "Ark.",
   "Arkansas",
-  "Assistance",
-  "Auckland",
   "Aug",
   "Aug.",
   "August",
-  "Australia",
   "B",
-  "BOOK",
-  "Bandar",
-  "Bangladesh",
-  "Barcelona",
-  "Beijing",
-  "Berlin",
-  "Bhuj",
-  "Book",
-  "Booking",
-  "Brazil",
   "Bros",
   "Bros.",
-  "Buenos",
-  "Busan",
   "C",
   "C'm",
   "C++",
   "C.",
-  "CACAR",
-  "CAR",
-  "CBM",
-  "CFR",
-  "CIF",
-  "CMB",
-  "CNSGH",
-  "CNSNZ",
-  "COMMODITIES",
-  "COMODITY",
   "CONTAINER COUNT",
   "CONTAINER SIZE",
-  "CONTAINER SIZE-COUNT",
   "Ca",
   "Calif",
   "Calif.",
   "California",
   "Can",
-  "Canada",
-  "Cape",
-  "Cargo",
   "Cause",
-  "Channai",
-  "Chat",
-  "Chennai",
-  "Chicago",
-  "China",
-  "Chittagong",
   "Co",
   "Co.",
-  "Cold",
   "Colo",
   "Colo.",
-  "Colombo",
   "Colorado",
-  "Commodities-",
-  "Complete",
-  "Confirm",
   "Conn",
   "Conn.",
   "Connecticut",
-  "Consolidated",
-  "Container",
   "Corp",
   "Corp.",
   "Cos",
-  "Cost",
   "Could",
   "Coz",
-  "Cross",
-  "Customs",
   "Cuz",
   "C\u2019m",
   "D",
   "D.",
   "D.C.",
-  "DAR",
-  "DDP",
   "DESTINATION",
-  "Dadri",
   "Dare",
   "Dec",
   "Dec.",
@@ -464,7 +345,6 @@
   "Del",
   "Del.",
   "Delaware",
-  "Destination",
   "Did",
   "Do",
   "Does",
@@ -473,42 +353,18 @@
   "Doin\u2019",
   "Dr",
   "Dr.",
-  "Dubai",
-  "Durban",
   "E",
   "E.G.",
   "E.g",
   "E.g.",
-  "ELP",
-  "ENQUIRY",
-  "ERM",
-  "EVA",
-  "EXW",
-  "Egypt",
-  "Enquiries",
-  "Expedited",
-  "Export",
-  "Express",
   "F",
   "F.",
-  "FCL",
-  "FOB",
-  "FT",
-  "FTL",
   "Feb",
   "Feb.",
   "February",
-  "Felixstowe",
   "Fla",
   "Fla.",
   "Florida",
-  "For",
-  "Fragile",
-  "Frankfurt",
-  "Freight",
-  "Fresh",
-  "From",
-  "Full",
   "G",
   "GIN",
   "Ga",
@@ -516,38 +372,25 @@
   "Gen",
   "Gen.",
   "Georgia",
-  "Germany",
   "Give",
   "Goin",
   "Goin'",
   "Goin\u2019",
   "Gon",
-  "Goods",
   "Got",
   "Gov",
   "Gov.",
-  "Guangzhou",
   "H",
-  "HAZ",
-  "HELP",
   "HIP",
   "Had",
-  "Hamburg",
-  "Handle",
   "Has",
   "Have",
   "Havin",
   "Havin'",
   "Havin\u2019",
-  "Hazmat",
   "He",
   "He's",
-  "Hello",
-  "Help",
   "He\u2019s",
-  "Hi",
-  "Hong",
-  "Houston",
   "How",
   "How's",
   "How\u2019s",
@@ -555,19 +398,7 @@
   "I.E.",
   "I.e",
   "I.e.",
-  "ICD",
-  "IDE",
-  "IES",
-  "INC",
-  "INCOTERM",
-  "INMAA",
-  "INMUN",
-  "INNSA",
-  "INTKD",
-  "INTMB",
   "ION",
-  "IRY",
-  "ITY",
   "IZE",
   "Ia",
   "Ia.",
@@ -581,110 +412,64 @@
   "Inc.",
   "Ind",
   "Ind.",
-  "India",
   "Indiana",
-  "Indonesia",
-  "Insurance",
   "Iowa",
   "Is",
-  "Istanbul",
   "It",
   "It's",
   "It\u2019s",
   "J",
-  "JEA",
-  "JED",
-  "Jaipur",
-  "Jakarta",
   "Jan",
   "Jan.",
-  "Janeiro",
   "January",
-  "Japan",
-  "Jebel",
-  "JnPT",
-  "Johannesburg",
   "Jr",
   "Jr.",
-  "Juan",
   "Jul",
   "Jul.",
   "July",
   "Jun",
   "Jun.",
   "June",
-  "Just",
   "K",
   "K.",
-  "KAOHSIUNG",
-  "KEMBA",
-  "KYC",
   "Kan",
   "Kan.",
-  "Kanpur",
   "Kans",
   "Kans.",
   "Kansas",
-  "Kelang",
   "Kentucky",
-  "Kenya",
-  "Kong",
-  "Korea",
   "Ky",
   "Ky.",
   "L",
-  "LCL",
-  "LES",
-  "LKCMB",
-  "LOS",
   "La",
   "La.",
-  "Lanka",
-  "Large",
-  "Last",
   "Let",
   "Let's",
   "Let\u2019s",
-  "Line",
-  "London",
-  "Looking",
-  "Los",
   "Louisiana",
   "Lovin",
   "Lovin'",
   "Lovin\u2019",
   "Ltd",
   "Ltd.",
-  "Ludhiana",
   "M",
-  "MAA",
-  "MBA",
-  "MT",
-  "MUN",
   "Ma'am",
-  "Machinery",
-  "Madrid",
-  "Manila",
   "Mar",
   "Mar.",
   "March",
   "Mass",
   "Mass.",
   "Massachusetts",
-  "Mauritania",
   "May",
   "Ma\u2019am",
   "Md",
   "Md.",
-  "Melbourne",
   "Messrs",
   "Messrs.",
-  "Miami",
   "Mich",
   "Mich.",
   "Michigan",
   "Might",
-  "Milan",
   "Minn",
   "Minn.",
   "Minnesota",
@@ -693,11 +478,8 @@
   "Mississippi",
   "Mo",
   "Mo.",
-  "Mogadishu",
-  "Mombasa",
   "Mont",
   "Mont.",
-  "Moradabad",
   "Mount",
   "Mr",
   "Mr.",
@@ -707,13 +489,7 @@
   "Ms.",
   "Mt",
   "Mt.",
-  "Mudra",
-  "Mukalla",
-  "Multiple",
-  "Mumbai",
-  "Mundra",
   "Must",
-  "My",
   "N",
   "N.C.",
   "N.D.",
@@ -721,29 +497,19 @@
   "N.J.",
   "N.M.",
   "N.Y.",
-  "NHAVA",
-  "NON",
-  "NSA",
-  "NYC",
-  "Nagoya",
   "Neb",
   "Neb.",
   "Nebr",
   "Nebr.",
   "Nebraska",
   "Need",
-  "Netherlands",
   "Nev",
   "Nev.",
   "Nevada",
-  "New",
   "New Hampshire",
   "New Jersey",
   "New Mexico",
   "New York",
-  "Nhava",
-  "Nhavasheva",
-  "Ningbo",
   "North Carolina",
   "North Dakota",
   "Not",
@@ -753,9 +519,6 @@
   "Nov",
   "Nov.",
   "November",
-  "Novorossiysk",
-  "Now",
-  "Nsa",
   "Nuthin",
   "Nuthin'",
   "Nuthin\u2019",
@@ -763,8 +526,6 @@
   "O'clock",
   "O.O",
   "O.o",
-  "OMSOH",
-  "OOK",
   "ORIGIN",
   "O_O",
   "O_o",
@@ -777,105 +538,51 @@
   "Ol",
   "Ol'",
   "Ol\u2019",
-  "Oman",
-  "One",
   "Ore",
   "Ore.",
   "Oregon",
   "Ought",
-  "Oversized",
   "O\u2019clock",
   "P",
-  "POL",
-  "PQR",
   "Pa",
   "Pa.",
-  "Paris",
   "Pennsylvania",
   "Ph",
   "Ph.D.",
-  "Planning",
-  "Please",
-  "Pod",
-  "Pol",
-  "Port",
-  "Price",
   "Prof",
   "Prof.",
-  "Project",
-  "Puerto",
   "R",
   "ROOT",
   "Rates",
   "Rep",
   "Rep.",
-  "Require",
-  "Required",
   "Rev",
   "Rev.",
-  "Rice",
-  "Rico",
-  "Rio",
-  "Rome",
-  "Rotterdam",
   "S",
   "S.C.",
-  "SAJED",
   "SEARCH RATES",
-  "SGH",
-  "SHEVA",
   "SHIP",
-  "SHIPMENT TYPE",
-  "SNZ",
-  "SOH",
-  "SULPHIDE",
-  "Sample",
-  "San",
-  "Sea",
   "Search",
-  "See",
-  "Seeking",
   "Sen",
   "Sen.",
-  "Send",
-  "Seoul",
   "Sep",
   "Sep.",
   "Sept",
   "Sept.",
   "September",
   "Sha",
-  "Shanghai",
   "She",
   "She's",
-  "Sheva",
   "She\u2019s",
-  "Shipment",
   "Should",
-  "Singapore",
-  "Sokhna",
   "Somethin",
   "Somethin'",
   "Somethin\u2019",
-  "South",
   "South Carolina",
-  "Spain",
-  "Special",
-  "Specialized",
-  "Sri",
   "St",
   "St.",
-  "Supply",
-  "Sydney",
   "T",
   "TES",
-  "TKD",
-  "TMB",
-  "TO",
-  "TZDAR",
-  "Taiwan",
-  "Tanzania",
-  "Temperature",
   "Tenn",
   "Tenn.",
   "Tennessee",
@@ -891,38 +598,15 @@
   "This's",
   "This\u2019s",
   "Those",
-  "Tihi",
-  "To",
-  "Tokyo",
-  "Town",
-  "Track",
-  "Trade",
-  "Tuticorin",
-  "Tuticorine",
-  "Two",
-  "Type",
-  "Tyre",
-  "U",
-  "UAE",
-  "UNG",
   "UNT",
-  "USA",
-  "USNYC",
-  "Ummqasr",
-  "Urgent",
   "V",
   "V.V",
   "V_V",
   "Va",
   "Va.",
-  "Vancouver",
   "Virginia",
-  "Vizag",
-  "Volume",
   "W",
-  "WT",
-  "Warehouse",
-  "Warehousing",
+  "Want",
   "Was",
   "Wash",
   "Wash.",
@@ -957,15 +641,12 @@
   "X.X.",
   "X.x",
   "X.x.",
-  "X20",
   "XD",
   "XDD",
   "XX",
   "XXX",
   "XXXX",
   "XXXX XXXX",
-  "XXXX XXXX-XXXX",
-  "XYZ",
   "X_X",
   "X_x",
   "Xx",
@@ -974,7 +655,6 @@
   "Xx'xx",
   "Xx.",
   "Xx.X.",
-  "XxXX",
   "Xxx",
   "Xxx'x",
   "Xxx.",
@@ -985,7 +665,6 @@
   "Xxxxx",
   "Xxxxx'",
   "Xxxxx'x",
-  "Xxxxx-",
   "Xxxxx.",
   "Xxxxx\u2019",
   "Xxxxx\u2019x",
@@ -998,14 +677,7 @@
   "X\u2019x",
   "X\u2019xxxx",
   "Y",
-  "YPE",
-  "Yemen",
-  "York",
   "You",
-  "Z",
-  "ZINC",
-  "Zealand",
-  "Zurich",
   "[",
   "[-:",
   "[:",
@@ -1034,47 +706,24 @@
   "a.",
   "a.m",
   "a.m.",
-  "abbas",
   "about",
-  "accommodates",
   "ace",
-  "ach",
-  "ack",
-  "ada",
-  "ade",
-  "aden",
+  "acy",
   "adm",
   "adm.",
-  "aejea",
-  "africa",
-  "age",
-  "ago",
   "ai",
-  "ain",
-  "air",
-  "aires",
   "ak",
   "ak.",
   "ala",
   "ala.",
   "ali",
   "all",
-  "almaty",
-  "als",
-  "also",
   "am",
-  "ami",
   "an.",
-  "ana",
   "and",
   "and/or",
-  "ang",
-  "angeles",
   "ans",
   "ant",
-  "any",
-  "ape",
-  "appropriate",
   "apr",
   "apr.",
   "ar.",
@@ -1083,141 +732,51 @@
   "ariz.",
   "ark",
   "ark.",
-  "arrange",
-  "arranged",
-  "arrangement",
-  "arrangements",
-  "arranging",
-  "arries",
-  "artwork",
-  "artworks",
-  "as",
   "asa",
-  "ase",
   "ash",
-  "asr",
   "ass",
-  "assist",
-  "assistance",
-  "ast",
-  "at",
   "ate",
-  "att",
-  "aty",
-  "auckland",
   "aug",
   "aug.",
-  "australia",
-  "automotive",
   "ava",
   "ave",
-  "ays",
   "b",
   "b.",
-  "bad",
-  "bai",
-  "ban",
-  "bandar",
-  "bangladesh",
-  "barcelona",
-  "bas",
-  "bba",
-  "be",
+  "basandra",
   "because",
-  "beijing",
   "bel",
-  "belongings",
-  "berlin",
-  "bhuj",
-  "ble",
-  "book",
-  "booking",
-  "border",
-  "both",
   "bout",
   "br.",
-  "brazil",
   "bros",
   "bros.",
-  "buenos",
-  "bul",
-  "buneos",
-  "busan",
-  "buy",
   "c",
   "c'm",
   "c++",
   "c.",
   "ca",
-  "cacar",
-  "cal",
   "calif",
   "calif.",
-  "callao",
   "can",
-  "canada",
-  "cape",
-  "car",
-  "care",
-  "cargo",
   "cause",
-  "cbm",
   "ce>",
-  "ces",
-  "cfr",
   "ch.",
-  "chain",
-  "channai",
-  "charges",
-  "chat",
-  "chemical",
-  "chennai",
-  "chicago",
-  "china",
-  "chittagong",
-  "cif",
-  "clearance",
-  "cmb",
-  "cnsgh",
-  "cnsnz",
   "co",
   "co.",
-  "cold",
   "colo",
   "colo.",
-  "colombo",
   "come",
-  "commerce",
-  "commodities",
-  "commodities-",
-  "comodity",
-  "complete",
-  "complex",
-  "compliance",
-  "confirm",
   "conn",
   "conn.",
-  "consignment",
-  "consolidated",
   "container",
   "container count",
   "container size",
-  "container size-count",
   "containers",
-  "controlled",
-  "coordination",
   "corp",
   "corp.",
   "cos",
-  "cost",
   "could",
-  "courier",
-  "coverage",
   "coz",
-  "cross",
   "ct.",
-  "cts",
-  "customs",
   "cuz",
   "c\u2019m",
   "d",
@@ -1230,183 +789,85 @@
   "d.d",
   "d.x",
   "dX",
-  "dXx",
   "d_d",
   "d_x",
-  "dadri",
-  "dam",
-  "dar",
   "dare",
-  "days",
   "dd",
-  "dd'X",
-  "dd'XX",
-  "dd'XXX",
-  "dd'x",
-  "dd'xx",
-  "dd'xxx",
-  "dd/dd",
-  "dd/ddXx",
-  "dd/ddxx",
   "ddXX",
-  "ddXdd",
-  "ddXx",
   "ddd",
-  "dddd",
-  "ddp",
   "ddx.x",
   "ddx.x.",
-  "ddxX",
-  "ddxdd",
   "ddxx",
-  "de",
   "dec",
   "dec.",
-  "ded",
   "del",
   "del.",
-  "delhi",
-  "delivery",
-  "den",
-  "der",
   "destination",
-  "destinations",
-  "details",
-  "dia",
   "did",
-  "distribution",
-  "dle",
   "dm.",
   "do",
-  "document",
-  "documentation",
   "does",
   "doin",
   "doin'",
   "doing",
   "doin\u2019",
-  "don",
   "dr",
   "dr.",
   "dra",
-  "dri",
-  "dry",
-  "dubai",
-  "durban",
-  "dx",
   "dx.x",
   "dx.x.",
-  "dxdd",
-  "dxdd\u2019XX",
-  "dxdd\u2019xx",
-  "dxx",
   "e",
   "e's",
   "e.",
   "e.g",
   "e.g.",
-  "each",
   "eb.",
   "ebr",
   "ec.",
-  "ect",
-  "eds",
   "eed",
-  "eet",
-  "effects",
-  "egypt",
   "el.",
-  "eld",
-  "elp",
   "em",
-  "ems",
   "en",
   "en.",
-  "end",
   "enn",
   "enough",
-  "enquiries",
-  "enquiry",
-  "ent",
-  "eos",
   "ep.",
   "ept",
-  "equipment",
   "ere",
   "ers",
-  "ery",
-  "es-",
   "ese",
-  "esh",
-  "ess",
-  "est",
-  "ete",
-  "ety",
   "ev.",
   "eva",
-  "ex",
-  "expedited",
-  "export",
-  "express",
-  "exw",
   "e\u2019s",
   "f",
   "f.",
-  "facilities",
-  "fcl",
   "feb",
   "feb.",
-  "feet",
-  "felixstowe",
-  "fer",
-  "filled",
   "fla",
   "fla.",
-  "fob",
   "for",
-  "fragile",
-  "frankfurt",
-  "free",
-  "freight",
-  "fresh",
   "from",
-  "frt",
-  "fruits",
   "ft",
-  "ftl",
-  "fulfillment",
-  "full",
   "g",
   "g.",
   "ga",
   "ga.",
-  "gbo",
-  "gdynia",
-  "ged",
   "gen",
   "gen.",
-  "germany",
-  "ges",
   "ght",
   "give",
-  "glassware",
   "goin",
   "goin'",
   "going",
   "goin\u2019",
   "gon",
   "gonna",
-  "goods",
   "got",
   "gov",
   "gov.",
-  "guangzhou",
   "h",
   "h.",
   "had",
-  "hai",
-  "hamburg",
-  "handle",
   "has",
   "hat",
   "have",
@@ -1414,230 +875,115 @@
   "havin'",
   "having",
   "havin\u2019",
-  "haz",
-  "hazardous",
   "hazira",
-  "hazmat",
-  "hc",
   "he",
   "he's",
-  "held",
-  "hello",
-  "help",
   "hen",
   "hey",
   "he\u2019s",
-  "hi",
-  "high",
   "hin",
   "hip",
   "his",
-  "hna",
-  "hong",
-  "hou",
-  "houston",
   "how",
   "how's",
   "how\u2019s",
-  "huj",
   "i",
   "i.",
   "i.e",
   "i.e.",
   "ia",
   "ia.",
-  "ial",
-  "ica",
-  "icd",
-  "ice",
   "ich",
-  "ico",
-  "ics",
   "id",
   "id.",
-  "ide",
-  "ier",
-  "ies",
   "if.",
-  "igh",
-  "ihi",
-  "ila",
-  "ile",
   "ill",
   "ill.",
-  "ils",
-  "ime",
-  "immediate",
-  "in",
   "in'",
-  "ina",
   "inc",
   "inc.",
-  "incoterm",
   "ind",
   "ind.",
-  "india",
-  "indonesia",
-  "ine",
   "ing",
-  "inmaa",
-  "inmun",
   "inn",
-  "innsa",
-  "insurance",
-  "interested",
-  "intkd",
-  "intmb",
   "in\u2019",
-  "ion",
   "ira",
-  "ire",
-  "irm",
-  "iro",
+  "irla",
   "is",
   "is.",
   "iss",
-  "ist",
-  "istanbul",
   "it",
   "it's",
-  "items",
-  "ith",
-  "its",
-  "ity",
   "it\u2019s",
   "ive",
   "iz.",
   "ize",
   "j",
   "j.",
-  "jaipur",
-  "jakarta",
   "jan",
   "jan.",
-  "janeiro",
-  "japan",
-  "jea",
   "jebel",
-  "jed",
-  "jnpt",
-  "johannesburg",
+  "jid",
   "jr",
   "jr.",
-  "juan",
   "jul",
   "jul.",
   "jun",
   "jun.",
-  "just",
   "k",
   "k.",
   "kan",
   "kan.",
-  "kanpur",
   "kans",
   "kans.",
-  "kaohsiung",
-  "kelang",
-  "kemba",
-  "kenya",
   "kla",
-  "kong",
-  "korea",
   "ky",
   "ky.",
-  "kyc",
-  "kyo",
   "l",
   "l.",
   "la",
   "la.",
-  "lan",
-  "lanka",
-  "lao",
-  "large",
-  "last",
-  "lcl",
-  "led",
-  "les",
   "let",
   "let's",
   "let\u2019s",
-  "lex",
-  "lhi",
-  "lia",
   "lif",
-  "lin",
-  "line",
-  "lkcmb",
   "ll",
   "ll.",
-  "lla",
-  "llo",
   "lo.",
-  "logistics",
-  "london",
-  "looking",
-  "los",
-  "lot",
   "lovin",
   "lovin'",
   "loving",
   "lovin\u2019",
-  "lso",
   "ltd",
   "ltd.",
-  "ludhiana",
-  "lue",
   "m",
   "m.",
   "ma'am",
-  "maa",
-  "machinery",
   "madam",
-  "madrid",
-  "man",
-  "management",
-  "manila",
   "mar",
   "mar.",
+  "masjid",
   "mass",
   "mass.",
-  "mat",
-  "materials",
-  "mauritania",
   "may",
   "ma\u2019am",
-  "mba",
-  "mbo",
   "md",
   "md.",
   "me",
-  "measuring",
-  "melbourne",
-  "men",
-  "mersin",
-  "mes",
   "messrs",
   "messrs.",
-  "miami",
   "mich",
   "mich.",
   "might",
-  "milan",
-  "mile",
   "minn",
   "minn.",
   "miss",
   "miss.",
   "mo",
   "mo.",
-  "mogadishu",
   "mombasa",
   "mont",
   "mont.",
-  "moradabad",
-  "move",
   "mr",
   "mr.",
   "mrs",
@@ -1646,11 +992,6 @@
   "ms.",
   "mt",
   "mt.",
-  "mudra",
-  "mukalla",
-  "multiple",
-  "mumbai",
-  "mun",
   "mundra",
   "must",
   "my",
@@ -1664,61 +1005,33 @@
   "n.j.",
   "n.m.",
   "n.y.",
-  "nPT",
   "na",
-  "nagoya",
-  "nai",
-  "nal",
-  "navsheva",
   "nc.",
-  "nce",
   "nd.",
-  "nds",
   "neb",
   "neb.",
   "nebr",
   "nebr.",
   "need",
-  "needed",
-  "needs",
   "ner",
-  "netherlands",
   "nev",
   "nev.",
-  "new",
-  "ney",
-  "nge",
-  "ngs",
   "nhava",
-  "nhavasheva",
-  "nia",
-  "ningbo",
-  "nka",
   "nn.",
-  "non",
-  "nos",
   "not",
   "nothin",
   "nothin'",
   "nothing",
   "nothin\u2019",
-  "nouakchatt",
   "nov",
   "nov.",
-  "novorossiysk",
-  "now",
-  "npt",
   "ns.",
-  "nsa",
   "nt",
   "nt.",
-  "nts",
   "nuff",
   "nuthin",
   "nuthin'",
   "nuthin\u2019",
-  "nya",
-  "nyc",
   "n\u2019s",
   "n\u2019t",
   "o",
@@ -1731,11 +1044,9 @@
   "o_0",
   "o_O",
   "o_o",
-  "oad",
   "ock",
   "oct",
   "oct.",
-  "ods",
   "oes",
   "of",
   "of.",
@@ -1747,42 +1058,19 @@
   "old",
   "olo",
   "ol\u2019",
-  "oman",
-  "ome",
-  "oms",
-  "omsoh",
   "on",
-  "ona",
-  "one",
-  "ong",
   "onn",
-  "ons",
   "ont",
-  "ook",
-  "optimization",
-  "options",
   "or",
   "ore",
   "ore.",
   "origin",
-  "ork",
   "orp",
-  "ort",
   "os.",
   "ose",
-  "oss",
-  "ost",
-  "oth",
   "ought",
-  "oul",
-  "ous",
   "out",
   "ov.",
-  "ove",
-  "oversized",
-  "owe",
-  "own",
-  "oya",
   "o\u2019clock",
   "o\u2019s",
   "p",
@@ -1791,188 +1079,80 @@
   "p.m.",
   "pa",
   "pa.",
-  "packaging",
-  "pan",
-  "paris",
-  "parts",
-  "ped",
-  "per",
-  "perishable",
-  "permits",
-  "personal",
   "ph",
   "ph.d.",
-  "pharmaceutical",
-  "pl",
-  "planning",
-  "ple",
-  "please",
-  "pls",
-  "ply",
   "pm",
-  "pod",
-  "pol",
-  "port",
-  "pqr",
   "pr.",
-  "price",
-  "proceed",
-  "produce",
-  "products",
   "prof",
   "prof.",
-  "project",
-  "provide",
   "pt.",
-  "puerto",
-  "pur",
-  "purposes",
   "q",
   "q.",
+  "quasa",
   "r",
   "r.",
   "rate",
   "rates",
-  "rce",
   "rch",
   "re",
   "re.",
-  "rea",
-  "red",
-  "ree",
-  "refer",
-  "regulations",
   "rep",
   "rep.",
-  "request",
-  "require",
-  "required",
-  "requirements",
-  "res",
   "rev",
   "rev.",
-  "reverse",
-  "rge",
-  "rgo",
-  "rice",
-  "rico",
-  "rid",
-  "rin",
-  "rio",
-  "ris",
   "riz",
   "rk.",
-  "rks",
-  "rms",
-  "rne",
+  "rla",
   "rof",
   "rom",
-  "rome",
   "ros",
-  "rotterdam",
   "rp.",
   "rs.",
-  "rse",
-  "rta",
-  "rto",
-  "rts",
   "s",
   "s's",
   "s.",
   "s.c.",
-  "safety",
-  "sajed",
-  "sample",
-  "san",
-  "schedule",
-  "sea",
   "search",
   "search rates",
-  "see",
-  "seeking",
   "sen",
   "sen.",
-  "send",
-  "seoul",
   "sep",
   "sep.",
   "sept",
   "sept.",
-  "service",
-  "services",
-  "ses",
-  "sgh",
   "sh.",
   "sha",
   "shall",
-  "shanghai",
-  "share",
   "she",
   "she's",
   "sheva",
   "she\u2019s",
   "ship",
-  "shiping",
-  "shipment",
-  "shipment type",
-  "shipments",
-  "shipped",
-  "shipping",
   "should",
-  "show",
-  "shu",
-  "shuaibba",
-  "sia",
-  "sin",
-  "singapore",
   "size",
-  "small",
-  "snz",
-  "soh",
-  "sokhna",
-  "solution",
-  "some",
   "somethin",
   "somethin'",
   "something",
   "somethin\u2019",
-  "south",
   "space",
-  "spain",
-  "special",
-  "specialized",
-  "sri",
+  "spacy",
   "srs",
   "ss.",
   "st",
   "st.",
-  "storage",
-  "suitable",
-  "sulphide",
-  "suppliers",
-  "supply",
-  "support",
-  "sydney",
   "s\u2019s",
   "t",
   "t's",
   "t.",
   "ta",
-  "taiwan",
-  "tanzania",
   "td.",
-  "ted",
-  "temperature",
   "tenn",
   "tenn.",
-  "terms",
   "tes",
   "testing",
-  "textiles",
   "that",
   "that's",
   "that\u2019s",
-  "the",
   "them",
   "there",
   "there's",
@@ -1983,56 +1163,19 @@
   "this's",
   "this\u2019s",
   "those",
-  "tihi",
-  "tiles",
-  "time",
-  "times",
-  "tkd",
-  "tmb",
   "to",
-  "tokyo",
-  "ton",
-  "town",
-  "track",
-  "trade",
-  "transport",
-  "transportation",
-  "transported",
-  "trucking",
-  "truckload",
-  "tuticorin",
-  "tuticorine",
-  "two",
-  "type",
-  "tyre",
-  "tzdar",
   "t\u2019s",
   "u",
   "u.",
-  "uae",
-  "uan",
-  "uce",
   "uff",
   "ug.",
-  "uk",
   "ul.",
   "uld",
-  "ule",
-  "ull",
-  "ume",
-  "ummqasr",
   "un.",
-  "ung",
-  "ure",
-  "urg",
-  "urgent",
-  "urt",
   "us",
-  "usa",
   "use",
-  "usnyc",
+  "usm",
   "ust",
-  "uth",
   "v",
   "v.",
   "v.s",
@@ -2041,25 +1184,16 @@
   "v_v",
   "va",
   "va.",
-  "value",
-  "vancouver",
-  "various",
   "ve",
-  "ver",
   "vin",
-  "visibility",
   "vizag",
-  "volume",
   "vs",
   "vs.",
   "w",
   "w's",
   "w.",
   "w/o",
-  "wan",
   "want",
-  "warehouse",
-  "warehousing",
   "was",
   "wash",
   "wash.",
@@ -2083,11 +1217,9 @@
   "will",
   "wis",
   "wis.",
-  "with",
   "without",
   "wo",
   "would",
-  "wt",
   "w\u2019s",
   "x",
   "x'",
@@ -2099,8 +1231,6 @@
   "x.x",
   "x.x.",
   "x/x",
-  "x20",
-  "x40",
   "xD",
   "xDD",
   "xX",
@@ -2121,14 +1251,12 @@
   "xxxx",
   "xxxx'",
   "xxxx'x",
-  "xxxx-",
   "xxxx\u2019",
   "xxxx\u2019x",
   "xxx\u2019x",
   "xx\u2019",
   "xx\u2019x",
   "xx\u2019xx",
-  "xyz",
   "x\u2019",
   "x\u2019x",
   "x\u2019xxxx",
@@ -2137,23 +1265,12 @@
   "y'",
   "y's",
   "y.",
-  "yemen",
-  "york",
   "you",
-  "ype",
-  "ypt",
-  "yre",
-  "ysk",
   "y\u2019",
   "y\u2019s",
   "z",
   "z.",
   "zag",
-  "zealand",
-  "zed",
-  "zil",
-  "zinc",
-  "zurich",
   "|",
   "}",
   "\u00a0",
@@ -2180,7 +1297,6 @@
   "\u0ca0",
   "\u0ca0_\u0ca0",
   "\u0ca0\ufe35\u0ca0",
-  "\u2013",
   "\u2014",
   "\u2018",
   "\u2018S",
@@ -2194,7 +1310,6 @@
   "\u2019Cos",
   "\u2019Coz",
   "\u2019Cuz",
-  "\u2019HQ",
   "\u2019S",
   "\u2019X",
   "\u2019Xxx",
@@ -2207,7 +1322,6 @@
   "\u2019cuz",
   "\u2019d",
   "\u2019em",
-  "\u2019hq",
   "\u2019ll",
   "\u2019m",
   "\u2019nuff",
@@ -2220,7 +1334,6 @@
   "\u2019xxxx",
   "\u2019y",
   "\u2019\u2019",
-  "\u201d",
   "\u2501",
   "\u253b",
   "\u253b\u2501\u253b",