Add application file

.gitignore

@@ -0,0 +1,3 @@
+__pycache__
+flagged
+embedding-model

app.py

@@ -0,0 +1,58 @@
+import gradio as gr
+import siameser
+import norm_typing
+import json
+import logging
+from datetime import datetime
+
+# print(1)
+std = siameser.Siameser(stadard_scope='all')
+count = 0
+
+def standardize(raw_address):
+    global count
+    raw_address = norm_typing.norm_vietnamese_sentence_accent(raw_address)    
+    std_add = std.standardize(raw_address)
+    std_address = dict()
+    # top_1 = std.standardize(raw_address)
+    # detail_address = Utils.get_detail_address(raw_address, main_address)
+    # std_address['detail address'] = detail_address
+    # std_address['main address'] = main_address
+    top_1, top_5 = std.get_top_k(raw_address, 5)
+    count += 1
+    # logging.info(f'Request {count}')
+    if count % 10 == 9:
+        print(f'Request: {count}')
+    return top_1, top_5
+
+
+demo = gr.Interface(
+    # fn=test,
+    fn=standardize,
+    inputs=gr.Textbox(label='raw address', lines=1, placeholder="Nhập địa chỉ thô"),
+    outputs=[gr.JSON(label='stadard address'), gr.JSON(label='top 5 standard addresses')],
+    allow_flagging='auto', 
+    title='Chuẩn hóa địa chỉ tiếng Việt',
+    description='Công cụ sử dụng để chuẩn hóa địa chỉ tiếng Việt. <br> \
+        Nhập vào 1 câu địa chỉ thô (ví dụ ở dưới), mô hình sẽ chuẩn hóa thành địa chỉ chuẩn, dưới dạng json, gồm 2 phần: <br> \
+        * Địa chỉ chi tiết (detail address): thông tin về số nhà, ngõ ngách, hẻm,... được cung cấp trong địa chỉ thô. <br> \
+        * Địa chỉ chính (main address): hiển thị dưới dạng dict, gồm tối đa 3 trên 4 trường thông tin: đường/phố, phường/xã, quận/huyện, tỉnh/thành phố. <br>\
+        * Trong trường hợp địa chỉ thô xuất hiện cả tên đường và phường, thì địa chỉ chính chỉ chứa tên đường mà không cần phường (vì như thế đã đủ để xác định ví trí rồi). <br>',
+    examples=['1 dong khoi str., dist. 1 ,hcmc',
+                '112/21 bạch đằng, p.2, tân bình, tp. hồ chí minh', 
+                'văn phòng và căn hộ cao cấp licogi 13 tower , thanh xuân , hn',
+                'dablend hostel, 417/2 hoà hảo, phường 5, quận 10, hồ chí minh, vietnam',
+                '17-05, tower 4,the sun avenue, 28 mai chi tho, district 2, ho chi minh city' 
+                ],
+    # article='Contact<br>Email: [email protected] <br> Facebook: https://www.facebook.com/CaoHaiNamHust/'
+    article='Contact<br>Email: [email protected]'
+)
+
+# with gr.Blocks() as demo:
+#     name = gr.Textbox(label='raw address', placeholder="150 kim hoa ha noi")
+#     output1 = gr.Textbox(label='standard address')
+#     output2 = gr.Textbox(label='top 5 addresses')
+#     greet_btn = gr.Button("standardize")
+#     greet_btn.click(fn=standardize, inputs=name, outputs=[output1, output2])
+
+demo.launch()

data/address_matrix_all_1.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:977558e6e8a75b5513f41f1e63f3bf6f3749ce9a74b5bee5ee160334c1185a68
+size 215544807

norm_typing.py

@@ -0,0 +1,203 @@
+# -*- coding: utf-8 -*-
+"""
+source: https://github.com/langmaninternet/VietnameseTextNormalizer
+"""
+
+
+import regex as re
+
+uniChars = "àáảãạâầấẩẫậăằắẳẵặèéẻẽẹêềếểễệđìíỉĩịòóỏõọôồốổỗộơờớởỡợùúủũụưừứửữựỳýỷỹỵÀÁẢÃẠÂẦẤẨẪẬĂẰẮẲẴẶÈÉẺẼẸÊỀẾỂỄỆĐÌÍỈĨỊÒÓỎÕỌÔỒỐỔỖỘƠỜỚỞỠỢÙÚỦŨỤƯỪỨỬỮỰỲÝỶỸỴÂĂĐÔƠƯ"
+unsignChars = "aaaaaaaaaaaaaaaaaeeeeeeeeeeediiiiiooooooooooooooooouuuuuuuuuuuyyyyyAAAAAAAAAAAAAAAAAEEEEEEEEEEEDIIIOOOOOOOOOOOOOOOOOOOUUUUUUUUUUUYYYYYAADOOU"
+
+
+def loaddicchar():
+    dic = {}
+    char1252 = 'à|á|ả|ã|ạ|ầ|ấ|ẩ|ẫ|ậ|ằ|ắ|ẳ|ẵ|ặ|è|é|ẻ|ẽ|ẹ|ề|ế|ể|ễ|ệ|ì|í|ỉ|ĩ|ị|ò|ó|ỏ|õ|ọ|ồ|ố|ổ|ỗ|ộ|ờ|ớ|ở|ỡ|ợ|ù|ú|ủ|ũ|ụ|ừ|ứ|ử|ữ|ự|ỳ|ý|ỷ|ỹ|ỵ|À|Á|Ả|Ã|Ạ|Ầ|Ấ|Ẩ|Ẫ|Ậ|Ằ|Ắ|Ẳ|Ẵ|Ặ|È|É|Ẻ|Ẽ|Ẹ|Ề|Ế|Ể|Ễ|Ệ|Ì|Í|Ỉ|Ĩ|Ị|Ò|Ó|Ỏ|Õ|Ọ|Ồ|Ố|Ổ|Ỗ|Ộ|Ờ|Ớ|Ở|Ỡ|Ợ|Ù|Ú|Ủ|Ũ|Ụ|Ừ|Ứ|Ử|Ữ|Ự|Ỳ|Ý|Ỷ|Ỹ|Ỵ'.split(
+        '|')
+    charutf8 = "à|á|ả|ã|ạ|ầ|ấ|ẩ|ẫ|ậ|ằ|ắ|ẳ|ẵ|ặ|è|é|ẻ|ẽ|ẹ|ề|ế|ể|ễ|ệ|ì|í|ỉ|ĩ|ị|ò|ó|ỏ|õ|ọ|ồ|ố|ổ|ỗ|ộ|ờ|ớ|ở|ỡ|ợ|ù|ú|ủ|ũ|ụ|ừ|ứ|ử|ữ|ự|ỳ|ý|ỷ|ỹ|ỵ|À|Á|Ả|Ã|Ạ|Ầ|Ấ|Ẩ|Ẫ|Ậ|Ằ|Ắ|Ẳ|Ẵ|Ặ|È|É|Ẻ|Ẽ|Ẹ|Ề|Ế|Ể|Ễ|Ệ|Ì|Í|Ỉ|Ĩ|Ị|Ò|Ó|Ỏ|Õ|Ọ|Ồ|Ố|Ổ|Ỗ|Ộ|Ờ|Ớ|Ở|Ỡ|Ợ|Ù|Ú|Ủ|Ũ|Ụ|Ừ|Ứ|Ử|Ữ|Ự|Ỳ|Ý|Ỷ|Ỹ|Ỵ".split(
+        '|')
+    for i in range(len(char1252)):
+        dic[char1252[i]] = charutf8[i]
+    return dic
+
+
+dicchar = loaddicchar()
+
+
+def convert_unicode(txt):
+    return re.sub(
+        r'à|á|ả|ã|ạ|ầ|ấ|ẩ|ẫ|ậ|ằ|ắ|ẳ|ẵ|ặ|è|é|ẻ|ẽ|ẹ|ề|ế|ể|ễ|ệ|ì|í|ỉ|ĩ|ị|ò|ó|ỏ|õ|ọ|ồ|ố|ổ|ỗ|ộ|ờ|ớ|ở|ỡ|ợ|ù|ú|ủ|ũ|ụ|ừ|ứ|ử|ữ|ự|ỳ|ý|ỷ|ỹ|ỵ|À|Á|Ả|Ã|Ạ|Ầ|Ấ|Ẩ|Ẫ|Ậ|Ằ|Ắ|Ẳ|Ẵ|Ặ|È|É|Ẻ|Ẽ|Ẹ|Ề|Ế|Ể|Ễ|Ệ|Ì|Í|Ỉ|Ĩ|Ị|Ò|Ó|Ỏ|Õ|Ọ|Ồ|Ố|Ổ|Ỗ|Ộ|Ờ|Ớ|Ở|Ỡ|Ợ|Ù|Ú|Ủ|Ũ|Ụ|Ừ|Ứ|Ử|Ữ|Ự|Ỳ|Ý|Ỷ|Ỹ|Ỵ',
+        lambda x: dicchar[x.group()], txt)
+
+
+"""
+    Start section: Chuyển câu văn về kiểu gõ telex khi không bật Unikey
+    Ví dụ: thủy = thuyr, tượng = tuwowngj
+"""
+bang_nguyen_am = [['a', 'à', 'á', 'ả', 'ã', 'ạ', 'a'],
+                  ['ă', 'ằ', 'ắ', 'ẳ', 'ẵ', 'ặ', 'aw'],
+                  ['â', 'ầ', 'ấ', 'ẩ', 'ẫ', 'ậ', 'aa'],
+                  ['e', 'è', 'é', 'ẻ', 'ẽ', 'ẹ', 'e'],
+                  ['ê', 'ề', 'ế', 'ể', 'ễ', 'ệ', 'ee'],
+                  ['i', 'ì', 'í', 'ỉ', 'ĩ', 'ị', 'i'],
+                  ['o', 'ò', 'ó', 'ỏ', 'õ', 'ọ', 'o'],
+                  ['ô', 'ồ', 'ố', 'ổ', 'ỗ', 'ộ', 'oo'],
+                  ['ơ', 'ờ', 'ớ', 'ở', 'ỡ', 'ợ', 'ow'],
+                  ['u', 'ù', 'ú', 'ủ', 'ũ', 'ụ', 'u'],
+                  ['ư', 'ừ', 'ứ', 'ử', 'ữ', 'ự', 'uw'],
+                  ['y', 'ỳ', 'ý', 'ỷ', 'ỹ', 'ỵ', 'y']]
+bang_ky_tu_dau = ['', 'f', 's', 'r', 'x', 'j']
+
+nguyen_am_to_ids = {}
+
+for i in range(len(bang_nguyen_am)):
+    for j in range(len(bang_nguyen_am[i]) - 1):
+        nguyen_am_to_ids[bang_nguyen_am[i][j]] = (i, j)
+
+
+def vn_word_to_telex_type(word):
+    dau_cau = 0
+    new_word = ''
+    for char in word:
+        x, y = nguyen_am_to_ids.get(char, (-1, -1))
+        if x == -1:
+            new_word += char
+            continue
+        if y != 0:
+            dau_cau = y
+        new_word += bang_nguyen_am[x][-1]
+    new_word += bang_ky_tu_dau[dau_cau]
+    return new_word
+
+
+def vn_sentence_to_telex_type(sentence):
+    """
+    Chuyển câu tiếng việt có dấu về kiểu gõ telex.
+    :param sentence:
+    :return:
+    """
+    words = sentence.split()
+    for index, word in enumerate(words):
+        words[index] = vn_word_to_telex_type(word)
+    return ' '.join(words)
+
+
+"""
+    End section: Chuyển câu văn về kiểu gõ telex khi không bật Unikey
+"""
+
+"""
+    Start section: Chuyển câu văn về cách gõ dấu kiểu cũ: dùng òa úy thay oà uý
+    Xem tại đây: https://vi.wikipedia.org/wiki/Quy_t%E1%BA%AFc_%C4%91%E1%BA%B7t_d%E1%BA%A5u_thanh_trong_ch%E1%BB%AF_qu%E1%BB%91c_ng%E1%BB%AF
+"""
+
+
+def norm_vietnamese_word_accent(word):
+    if not is_valid_vietnam_word(word):
+        return word
+
+    chars = list(word)
+    dau_cau = 0
+    nguyen_am_index = []
+    qu_or_gi = False
+    for index, char in enumerate(chars):
+        x, y = nguyen_am_to_ids.get(char, (-1, -1))
+        if x == -1:
+            continue
+        elif x == 9:  # check qu
+            if index != 0 and chars[index - 1] == 'q':
+                chars[index] = 'u'
+                qu_or_gi = True
+        elif x == 5:  # check gi
+            if index != 0 and chars[index - 1] == 'g':
+                chars[index] = 'i'
+                qu_or_gi = True
+        if y != 0:
+            dau_cau = y
+            chars[index] = bang_nguyen_am[x][0]
+        if not qu_or_gi or index != 1:
+            nguyen_am_index.append(index)
+    if len(nguyen_am_index) < 2:
+        if qu_or_gi:
+            if len(chars) == 2:
+                x, y = nguyen_am_to_ids.get(chars[1])
+                chars[1] = bang_nguyen_am[x][dau_cau]
+            else:
+                x, y = nguyen_am_to_ids.get(chars[2], (-1, -1))
+                if x != -1:
+                    chars[2] = bang_nguyen_am[x][dau_cau]
+                else:
+                    chars[1] = bang_nguyen_am[5][dau_cau] if chars[1] == 'i' else bang_nguyen_am[9][dau_cau]
+            return ''.join(chars)
+        return word
+
+    for index in nguyen_am_index:
+        x, y = nguyen_am_to_ids[chars[index]]
+        if x == 4 or x == 8:  # ê, ơ
+            chars[index] = bang_nguyen_am[x][dau_cau]
+            # for index2 in nguyen_am_index:
+            #     if index2 != index:
+            #         x, y = nguyen_am_to_ids[chars[index]]
+            #         chars[index2] = bang_nguyen_am[x][0]
+            return ''.join(chars)
+
+    if len(nguyen_am_index) == 2:
+        if nguyen_am_index[-1] == len(chars) - 1:
+            x, y = nguyen_am_to_ids[chars[nguyen_am_index[0]]]
+            chars[nguyen_am_index[0]] = bang_nguyen_am[x][dau_cau]
+            # x, y = nguyen_am_to_ids[chars[nguyen_am_index[1]]]
+            # chars[nguyen_am_index[1]] = bang_nguyen_am[x][0]
+        else:
+            # x, y = nguyen_am_to_ids[chars[nguyen_am_index[0]]]
+            # chars[nguyen_am_index[0]] = bang_nguyen_am[x][0]
+            x, y = nguyen_am_to_ids[chars[nguyen_am_index[1]]]
+            chars[nguyen_am_index[1]] = bang_nguyen_am[x][dau_cau]
+    else:
+        # x, y = nguyen_am_to_ids[chars[nguyen_am_index[0]]]
+        # chars[nguyen_am_index[0]] = bang_nguyen_am[x][0]
+        x, y = nguyen_am_to_ids[chars[nguyen_am_index[1]]]
+        chars[nguyen_am_index[1]] = bang_nguyen_am[x][dau_cau]
+        # x, y = nguyen_am_to_ids[chars[nguyen_am_index[2]]]
+        # chars[nguyen_am_index[2]] = bang_nguyen_am[x][0]
+    return ''.join(chars)
+
+
+def is_valid_vietnam_word(word):
+    chars = list(word)
+    nguyen_am_index = -1
+    for index, char in enumerate(chars):
+        x, y = nguyen_am_to_ids.get(char, (-1, -1))
+        if x != -1:
+            if nguyen_am_index == -1:
+                nguyen_am_index = index
+            else:
+                if index - nguyen_am_index != 1:
+                    return False
+                nguyen_am_index = index
+    return True
+
+
+def norm_vietnamese_sentence_accent(sentence):
+    """
+        Chuyển câu tiếng việt về chuẩn gõ dấu kiểu cũ.
+        :param sentence:
+        :return:
+        """
+    sentence = sentence.lower()
+    words = sentence.split()
+    for index, word in enumerate(words):
+        # print(word)
+        cw = re.sub(r'(^\p{P}*)([p{L}.]*\p{L}+)(\p{P}*$)', r'\1?\2?\3', word).split('?')
+        # print(cw)
+        if len(cw) == 3:
+            cw[1] = norm_vietnamese_word_accent(cw[1])
+        words[index] = ''.join(cw)
+    return ' '.join(words)
+
+
+"""
+    End section: Chuyển câu văn về cách gõ dấu kiểu cũ: dùng òa úy thay oà uý
+    Xem tại đây: https://vi.wikipedia.org/wiki/Quy_tắc_đặt_dấu_thanh_trong_chữ_quốc_ngữ
+"""
+if __name__ == '__main__':
+    print(chuan_hoa_dau_cau_tieng_viet('anh Hoà, đang làm.. gì'))

parameters.py

@@ -0,0 +1,7 @@
+# transformer model
+embedding_model = 'CaoHaiNam/vietnamese-address-embedding'
+local_embedding_model = 'embedding-model'
+
+
+NORM_ADDS_FILE_ALL_1 = 'data/standard_address_all_1.json'
+STD_EMBEDDING_FILE_ALL_1 = 'data/address_matrix_all_1.pt'

requirements.txt

@@ -0,0 +1,7 @@
+numpy
+sentence-transformers
+transformers
+tqdm
+torch
+flake8
+gradio

siameser.py

@@ -0,0 +1,91 @@
+import unicodedata
+import torch
+import utils
+import parameters
+import json
+from sentence_transformers import SentenceTransformer
+import os
+import torch.nn.functional as F
+
+# os.environ['CUDA_VISIBLE_DEVICES'] = '0'
+
+device = torch.device('cpu')
+
+class Siameser:
+    def __init__(self, model_name=None, stadard_scope=None):
+        # print('Load model')
+        print("Load sentence embedding model (If this is the first time you run this repo, It could be take time to download sentence embedding model)")
+        self.threshold = 0.61
+        # if os.path.isdir(parameters.local_embedding_model):
+        #     self.embedding_model = SentenceTransformer(parameters.local_embedding_model).to(device)
+        # else:
+        #     self.embedding_model = SentenceTransformer(parameters.embedding_model).to(device)
+        #     self.embedding_model.save(parameters.local_embedding_model)
+        self.embedding_model = SentenceTransformer(parameters.embedding_model).to(device)
+
+        if stadard_scope == 'all':
+            print('Load standard address')
+            with open(file=parameters.NORM_ADDS_FILE_ALL_1, mode='r', encoding='utf-8') as f:
+                self.NORM_ADDS = json.load(fp=f)
+
+            print('Load standard address matrix')
+            embedding = torch.load(parameters.STD_EMBEDDING_FILE_ALL_1)
+            self.std_embeddings = embedding['accent_matrix'].to(device)
+            self.NT_std_embeddings = embedding['noaccent_matrix'].to(device)
+        else:
+            print('Load standard address')
+            with open(file=parameters.NORM_ADDS_FILE_HN_HCM, mode='r', encoding='utf-8') as f:
+                self.NORM_ADDS = json.load(fp=f)
+
+            print('Load standard address matrix')
+            embedding = torch.load(parameters.STD_EMBEDDING_FILE_HN_HCM)
+            self.std_embeddings = embedding['accent_matrix'].to(device)
+            self.NT_std_embeddings = embedding['noaccent_matrix'].to(device)
+
+        self.num_std_add = self.std_embeddings.shape[0]
+        print('Done')
+
+    def standardize(self, raw_add_):
+        raw_add = unicodedata.normalize('NFC', raw_add_).lower()
+        raw_add = utils.remove_punctuation(raw_add)
+        raw_add_vector = self.embedding_model.encode(raw_add, convert_to_tensor=True).to(device)
+        raw_add_vectors = raw_add_vector.repeat(self.num_std_add, 1)
+        if raw_add == utils.remove_accent(raw_add):
+            score = F.cosine_similarity(raw_add_vectors, self.NT_std_embeddings)
+        else:
+            score = F.cosine_similarity(raw_add_vectors, self.std_embeddings)
+        s, top_k = score.topk(1)
+        # print(s, top_k)
+        # return
+        s, idx = s.tolist()[0], top_k.tolist()[0]
+        # if s < 0.57:
+        if s < self.threshold:
+            return {'Format Error': 'Xâu truyền vào không phải địa chỉ, mời nhập lại.'}
+        std_add = self.NORM_ADDS[str(idx)]
+        return utils.get_full_result(raw_add_, std_add, round(s, 4))
+
+    def get_top_k(self, raw_add_, k):
+        raw_add = unicodedata.normalize('NFC', raw_add_).lower()
+        raw_add = utils.remove_punctuation(raw_add)
+        raw_add_vector = self.embedding_model.encode(raw_add, convert_to_tensor=True).to(device)
+        raw_add_vectors = raw_add_vector.repeat(self.num_std_add, 1)
+        if raw_add == utils.remove_accent(raw_add):
+            score = F.cosine_similarity(raw_add_vectors, self.NT_std_embeddings)
+        else:
+            score = F.cosine_similarity(raw_add_vectors, self.std_embeddings)
+        s, top_k = score.topk(k)
+        s, top_k = s.tolist(), top_k.tolist()
+        # print(s, top_k)
+        # return
+
+        if s[0] < self.threshold:
+            return {'Format Error': 'Dường như xâu truyền vào không phải địa chỉ, mời nhập lại.'}, {}
+
+        top_std_adds = []
+        for score, idx in zip(s, top_k):
+            std_add = self.NORM_ADDS[str(idx)]
+            top_std_adds.append(utils.get_full_result(raw_add_, std_add, round(score, 4)))
+
+        x1, x2 = top_std_adds[0], top_std_adds[1]
+
+        return top_std_adds[0], top_std_adds

utils.py

@@ -0,0 +1,98 @@
+# import numpy as np
+import re
+import string
+
+# delete tone and lower
+anphabet = ['a', 'ă', 'â', 'b', 'c', 'd',
+            'đ', 'e', 'ê', 'g', 'h', 'i',
+            'k', 'l', 'm', 'n', 'o', 'ô',
+            'ơ', 'p', 'q', 'r', 's', 't',
+            't', 'u', 'ư', 'v', 'x', 'y',
+            ]
+
+tone = {
+            'á, à, ã, ạ, ả, ấ, ầ, ẫ, ậ, ẩ, ắ, ằ, ẵ, ặ, ẳ, â, ă': 'a',
+            'ó, ò, õ, ọ, ỏ, ố, ồ, ỗ, ộ, ổ, ớ, ờ, ỡ, ợ, ở, ơ, ô': 'o',
+            'é, è, ẽ, ẹ, ẻ, ế, ề, ễ, ệ, ể, ê': 'e',
+            'í, ì, ĩ, ị, ỉ': 'i',
+            'ú, ù, ũ, ụ, ủ, ứ, ừ, ự, ử, ữ, ư': 'u',
+            'đ': 'd',
+            'ý, ỳ, ỹ, ỵ, ỷ': 'y'
+        }
+
+RT = {}
+for i in tone.items():
+    for j in i[0]:
+        if j == ',' or j == ' ':
+            continue
+        RT[j] = i[1]
+
+
+def remove_accent(text):
+
+    res = ''
+    for char in text:
+        res += RT[char] if char in RT else char
+    return res
+
+
+# remove functuation
+def remove_punctuation(text):
+
+    punctuation = r"""!"#$%&'()*+,-./:;<=>?@[\]^_`{|}~"""
+    whitespace = ' '
+    for i in text:
+        if i in punctuation:
+            text = text.replace(i, whitespace)
+    return ' '.join(text.split())
+
+
+def clean_text(text):
+    text = text.encode("ascii", errors="ignore").decode(
+        "ascii"
+    )  # remove non-ascii, Chinese characters
+    text = re.sub(r"http\S+", "", text)
+    text = re.sub(r"\n", " ", text)
+    text = re.sub(r"\n\n", " ", text)
+    text = re.sub(r"\t", " ", text)
+    text = text.strip(" ")
+    text = re.sub(
+        " +", " ", text
+    ).strip()  # get rid of multiple spaces and replace with a single
+    return text
+
+
+def remove_prefix(address):
+    if address != remove_accent(address):
+        return re.sub('(tỉnh |thành phố |huyện |thị trấn |thị xã |phường |xã |quận |đường |phố |tp )', '', address, flags=re.IGNORECASE).strip()
+    return re.sub('(tinh |thanh pho |huyen |thi tran |thi xa |phuong |xa |quan |duong |pho |tp )', '', address, flags=re.IGNORECASE).strip()
+    
+
+def clean_detail_address(detail_address):
+    detail_address = remove_prefix(detail_address)
+    try:
+        if detail_address[-1] in string.punctuation:
+            detail_address = detail_address[:-1]
+    except:
+        pass
+    return detail_address
+
+
+def get_detail_address(address, std_address):
+    address = address.lower()
+    split_token = list(std_address.values())[0].split()[0]
+    if address == remove_accent(address):
+        split_token = remove_accent(split_token)
+    detail_address = address.split(split_token)[0]
+    if detail_address == address:
+        return ''
+    detail_address = clean_detail_address(detail_address)
+    return detail_address
+
+
+def get_full_result(raw_address, std_address, score):
+    full_result = dict()
+    full_result['detail_address'] = get_detail_address(raw_address, std_address)
+    full_result['main_address'] = std_address
+    full_result['similarity_score'] = score 
+    return full_result