Model tends to be highly repetitive , create nonsense completions or prematurely change subject
Tested in https://huggingface.co/spaces/Norod78/Hebrew-Mistral-7B
Hyper parameters:
Temperature: 0.5
Top-p 0.25
Top-k 30
Sample Input:
ืกืืคืืจ ืงืฆืจ ืืืช ืืชืืจ ืงืจืช
ืืืจืืื
ืืงืื ืฉืื, ืืื ื ืขืืืชื ืขื ืืืืื ืืฆืขืงืชื ืืช ืืืืืื ืืืืจืื ืืช ืฉื ืืืืื. ืื ืืื ืืชืคืงืื ืืื ืืืื ืฉืฉืืืงืชื ืขื ืื, ืืื ื ืืืืจ ืืช ืืืจืืฉื ืื ืคืืื ืฉื ืืขืืื ืขื ืืืื ืืื ืงืื ืฉื ืืืืช ืื ืฉืื ืืืืฉืืืข ืืช ืงืืื ืืขื ืื ืืจืขืฉ ืืื. ืื ืืื "ืืืื ืืืจ", ืืื ื ืืืืชื ืืืจ, ืืืื ืืืงื ืืืืฉืืืข ืฉืืืงืฉ ืืฉืืืฉืช ืื ืืชืื ืืืืื ืืืชื ืื ืืฉืืื ืืืจ ืื ืืื. ืื ื ืืืืจ ืืช "ืืืื ืืืจ" ืื ืื ืืื โ ืขื ืืืื โ ืืชืคืงืื ืืืืื ืฉืฉืืืงืชื ืคืขืืืื. ืืคืขื ืืจืืฉืื ื ืฉืืืงืชื ืืืชื ืืชืืืืจืื ืืืืืื ืืื ืืขืจ, ืืืคืขื ืืฉื ืืื ืืชืืืืจืื ืืืืื. ืื ื ืืืืจ, ืื ืื โ ืขื ืืืื, ืืืจื ืื ืื ืืจืื ืฉื ืื โ ืืชืคืงืื ืืื "ืืืื" ืฉืฉืืืงืชื ืืึพืคืขื. ืื ื ืืืืจ โ ืขื ืขืืฉืื โ ืืช ืืืฆืื ืืจืืฉืื ื ืืชืืืืจืื ืืืืืื ืืื ืืขืจ. ืื ื
Output:
ืืืืจึพืืืืจ ืืช ืื ืื ืื "ืืชืคืงืื" ืืจืืฉืื ืฉืฉืืืงืชื ืืชืืืืจืื. ืื ื ืืืืจ: ืื ืืื: ืืคื ื ืืจืื ืฉื ืื. ืื ื ืืืืจ; ืื ืืื; ืืคื ื ืืจืื; ืฉื ืื. ืื ื: ืืืืจ; ืืช: ืื. ืื ื: ืืื: ืจ: ืืช: ื: ืืช:ืื. ืื ื:ืืื:ืจ:ืืช:ื:ืืช:ืื. ืื ืืชืคืงืื ืืจืืฉืื ืฉืฉืืืงืชื. ืื ืืชืคืงืื: ืืจืืฉืื ืฉืฉืืืง: ืชื. ืื ืชืคืงืื: ืจืืฉืื ืฉืฉืืืง: ืชื: ืื ืชืคืงืื ืจืืฉืื ืฉืฉืืืงืชื ืชื: ืื. ืื ืชืคืงืื; ืจืืฉืื ืฉืฉืืืงืชื. ืื ื: ืืฉืืง; ืชื: ืืช:ืื ืชืคืงืื;ืจืืฉืื ืฉืฉืืืงืชื.
ืื ื ืืืืจ ืื ืืช ืืืฆืื, ืืจืืฉืื ื ืืชืืืืจืื, ืืฉื ืืื ืฉืื, ื"ืืืืื". ืื ื ืืืืจ "ืืืื ืืืจ". ืื ื ืืืืจ. ืื ื ืืื. ืื ื ืืืืจืจ. ืื ื ืืืจ. ืื ื ืืืืจืจ. ืื ื ืืืจื ืืืืจ. ืืืืจ ืืืืจ. ืืืืจ. ืืืจ. ืืืืจ.
ืื ื ืืืืจ.
ืื ื ืืื.
ืื ื ืืืืจ
ืื ื ืืืจ.
ืื ื: ืืืืจ.
ืื ืืชืคืงืื ืืื
ืืืื ืฉืฉืืืงืชื
ืขื ืืืื.
ืื ื:
ืืืืจ.
ืื ืืชืคืงืื
ืืื ืืืื
ืฉืฉืืืงืชื
ืขื
ืืืื.
ืื ื ืืืืจ
ืืช ืืืฆืื
ืืจืืฉืื ื ืืชืืืืจืื
ืืืืืื ืืื ืืขืจ
ืืคื ื ืืจืื ืฉื ืื
ืื ื ืืื
ืืช ืืืฆืื.
ืื ื ืืืจื
ืืช ืืืฆืืืช
ืืจืืฉืื ืืช ืืชืืืืจืื
ืืืืื
ืืคื ื ืืจืื
ืฉื ืื.
Trying again:
Temperature 0.3
Top-p 0.25
Top-k 32
ืืืืจึพืืืืจ ืืช ืืจืืข ืฉืื ืขืืืชื ืขืึพืืืื ืืืึพืืงืื ืืืืื ืืืืืง ืืืืืงืชื ืืชึพืืืชืจ ืืืืืื ืฉืื ืืืกืชืืืชื ืขืึพืืงืื ืืืืจืชื ืืชึพืืืืืื ืฉืึพืืืื ืืืจ ืืงืื ืืืึพืืืง ืฉืืืืืชื ืืฆืขืืง ืืืืจืชื ืืงืื ืืชึพืืืืืื: "ืื ื ืืืื. ืื ื ืืืื. ืืื ื ืจืืฆื ืฉืชืงืฉืืื ืื". ืื ื ืืืืจ - ืขื ืขืืฉืื - ืืช ืืืฆืื, ืื ืืงืื ืื ืืงืฉืื ืื. ืื ื ืืืืจ: ืืงืื ืฉืื ืืื ื ืฆืขืงืชื ืืช ืืืืืื. ืืงืื ืฉืื. ืืงืื ืฉืืง. ืืงืื ืฉืืก. ืืงืื ืฉืืกืก. ืืงืื ืฉืืกืฃ. ืืงืื ืฉืืกืคืก. ืืงืื ืฆืขืง ืืื ื ืฆืขืงืชื. ืืงืื ืฉืืก, ืืงืื ืืกืคืก, ืืงืื ืฉืืกืฃ, ืืงืื ืฉืืกืคื, ืืงืื ืืกืคื. ืืงืื ืฉืืฃ. ืืงืื ืืกืคืฃ. ืืงืื ืืกืคื. ืืงืื ืืกืคื. ืืงืื ืืฃ. ืืงืื ืืคื. ืืงืื ืืคื.
Example input:
: ืืจืฆืืช ืื
ืืืจืฆื: ืืืืืง ืืื ืืืก
ืืืกืข ืฉืื ืืืืื ืืืฉืื ืืขืืจืช ืืืื ืืืืืจื
ืจืืืชื
Hyper-parameters:
Temperature: 0.4
Top-p: 0.2
Top-k: 43
Output:
: ืืืืกืืืจืื ืืืืจืช ืขื ืขืฆืื ืคืขื ืฉืืืฉืืช ืืืืืจ ืืคืชืื ืืืืืข ืืืคืขื ืื ืื ืืืื ืืฆืืืง ืืื ืืืื.
ืื ืืื ืชื ืื ืืชื ืจืืฆื ืืืืจ ืืื?
ืื ืืืื ืื ืืชื
ืื ืืชื?
ืื ืื ืืืืจ?
ืื
ืื ืงืจื?
ืื ?
ืื ืงืืจื?
ืื ??
ืื ืืืื ืคื?
ืื ..?
ืื ...?
ืืโฆ?
ืื โฆ?
ืืโฆ.?
ืืโฆโฆ?
ืื???
ืื๐ฑ
ืื ืื ืื
ืื?
ืื ืื?
ืื ืืฉ ืื ืืืืื ืขื ืื?
ืื?
ืื ืืืืข ืื ืื ืงืฉืืจ ืืื ืื ืื
ืื, ืื ืื, ืืื ืื ืื ืืืืจ ืฉืืฉืื ืืืืข ืื ืืฉืืื ืฉื ืืช ืืืืื ื ืืฉ ืืื ืืจืื ืืืชืจ ืืื ืคืืืืื ืืืฉืจ ืืืคืืืืช ืืืืื ืืืช ืืื