Hugging Face's logo

josedossantos
/
urf-txtIndexacao-legalbert

Sentence Similarity
sentence-transformers
Safetensors
bert
feature-extraction
dataset_size:10K<n<100K
loss:ContrastiveLoss
text-embeddings-inference
Inference Endpoints
Model card Files Community
urf-txtIndexacao-legalbert / README.md
josedossantos's picture
josedossantos
Add new SentenceTransformer model.
71564fb verified
preview code
|
raw
history blame
17 kB
metadata
language: []
library_name: sentence-transformers
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - dataset_size:10K<n<100K
  - loss:ContrastiveLoss
widget:
  - source_sentence: Voto facultativo, eleitor, maior de dezesseis anos.
    sentences:
      - 'Voto facultativo, alistamento eleitoral, maior de dezesseis anos. '
      - >-
        Constituição Federal (1988), mandato, Ministro do Supremo Tribunal
        Federal, quórum de aprovação, Senado Federal.
      - "Criação, Unidade Móvel de Atendimento Veterinário, cachorro, gato.\t"
  - source_sentence: Inclusão, cerrado, caatinga, patrimônio da União.
    sentences:
      - >-
        Alteração, Constituição Federal, Meio Ambiente, inclusão, ecossistema,
        mar, caatinga, campo, Região Sul, Patrimônio da União.
      - >-
        Alteração, Código Civil (2002), sucessão hereditária, bens digitais
        Herança digital, Conta de usuário, internet.
      - >-
        Alteração, Lei de Licitação, preferência, desempate, licitação, empresa,
        prática, atenuação, mudança climática.
  - source_sentence: Alteração, fixação, jornada de trabalho, psicólogo.
    sentences:
      - Alteração,  regulamentação, jornada de trabalho, psicólogo.
      - >-
        Alteração, Código Civil (2002), inclusão, direito real, multipropriedade
        imobiliária, definição, conceituação. 
      - "Constituição Federal (1988), requisito, dupla nacionalidade, nacionalidade brasileira, naturalização, casamento.\r\n\r\n"
  - source_sentence: Fixação, preço, Gás Liquefeito de Petróleo (GLP).
    sentences:
      - Inclusão, cesta básica, valor, Gás Liquefeito de Petróleo (GLP).
      - >-
        Obrigatoriedade, instituição financeira, anuência prévia, cliente,
        aumento, Limite de crédito, cheque especial. 
      - 'Atuação, delegacia da mulher, procedimento, inexistência, delegacia. '
  - source_sentence: Critério, implementação, energia solar, órgão público.
    sentences:
      - Obrigatoriedade, utilização, lâmpada de LED, edifício público.
      - >-
        Constituição Federal (1988), mandato, Ministro do Supremo Tribunal
        Federal, quórum de aprovação, Senado Federal.
      - >-
        Alteração, Código Civil, garantia, companheiro, direito real, habitação,
        imóvel residencial, inventário.
pipeline_tag: sentence-similarity

SentenceTransformer

This is a sentence-transformers model trained. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 768 tokens
  • Similarity Function: Cosine Similarity

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("josedossantos/urf-txtIndexacao-legalbert")
# Run inference
sentences = [
    'Critério, implementação, energia solar, órgão público.',
    'Obrigatoriedade, utilização, lâmpada de LED, edifício público.',
    'Constituição Federal (1988), mandato, Ministro do Supremo Tribunal Federal, quórum de aprovação, Senado Federal.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

  • Size: 10,962 training samples
  • Columns: sentence_0, sentence_1, and label
  • Approximate statistics based on the first 1000 samples:
    sentence_0 sentence_1 label
    type string string int
    details
    • min: 10 tokens
    • mean: 50.52 tokens
    • max: 402 tokens
    • min: 11 tokens
    • mean: 52.96 tokens
    • max: 512 tokens
    • 0: ~48.20%
    • 1: ~51.80%
  • Samples:
    sentence_0 sentence_1 label
    Alteração, lei federal, critérios, restrição, aquisição, imóvel rural, propriedade rural, estrangeiro, pessoa jurídica estrangeira, posse, terras. Alteração, Constituição Federal, expropriação, gleba, confisco, terras, aquisição, pessoa física, pessoa jurídica, estrangeiro, Região Amazônica, ausência, indenização. 1
    Alteração, Constituição Federal, revogação, dispositivos, exclusão, limitação, percentagem, gastos públicos, receita municipal, Municipios, folha de pagamento, inclusão, subsídio, Vereador, crime de responsabilidade, Presidente, Câmara Municipal, desrespeito, limite máximo, despesa pública. Alteração, Lei Orgânica dos Partidos Políticos (1995), fixação, percentual, recursos, Fundo partidário, campanha eleitoral, criação, Fundo de Financiamento de Campanhas Eleitorais, limite, gasto ,pagamento, empregado, manutenção, sede, redução, percentual, instituição, educação política, partido político. 0
    Alteração, Lei Maria da Penha, medida preventiva, condomínio residencial, capacitação, síndico, trabalhador, divulgação,, placa, prevenção, crime, violência doméstica, mulher. Alteração, Lei do Condomínio, obrigatoriedade, síndico, condômino, locatário, proprietário, comunicação, Autoridade competente, violência doméstica, Violência contra a mulher, criança, adolescente, idoso, Pessoa com deficiência. _ Alteração, Código Civil (2002), critério, Convenção condominial, Condomínio edilício, deveres, síndico, condômino, locatário, proprietário, comunicação, Autoridade competente, violência doméstica, Violência contra a mulher, criança, adolescente, idoso, Pessoa com deficiência. _ Alteração, Código Penal, Periclitação da vida e da saúde, crime, omissão de socorro, vítima, violência doméstica. 0
  • Loss: ContrastiveLoss with these parameters:
    {
    "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
    "margin": 0.5,
    "size_average": true
}

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 2
  • per_device_eval_batch_size: 2
  • num_train_epochs: 1
  • multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • prediction_loss_only: True
  • per_device_train_batch_size: 2
  • per_device_eval_batch_size: 2
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • learning_rate: 5e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1
  • num_train_epochs: 1
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.0
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: False
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: round_robin

Training Logs

Epoch Step Training Loss
0.0912 500 0.0386
0.1824 1000 0.0261
0.2737 1500 0.0238
0.3649 2000 0.0221
0.4561 2500 0.0191
0.5473 3000 0.0179
0.6386 3500 0.0167
0.7298 4000 0.0143
0.8210 4500 0.0142
0.9122 5000 0.0107

Framework Versions

  • Python: 3.10.14
  • Sentence Transformers: 3.0.0
  • Transformers: 4.39.3
  • PyTorch: 2.2.0
  • Accelerate: 0.30.1
  • Datasets: 2.14.4
  • Tokenizers: 0.15.1

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

ContrastiveLoss 

@inproceedings{hadsell2006dimensionality,
    author={Hadsell, R. and Chopra, S. and LeCun, Y.},
    booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)}, 
    title={Dimensionality Reduction by Learning an Invariant Mapping}, 
    year={2006},
    volume={2},
    number={},
    pages={1735-1742},
    doi={10.1109/CVPR.2006.100}
}