Add doc

README.md

@@ -1 +1,527 @@
-Check out https://github.com/alphrc/lilm/tree/main for more details
+[繁](./README_ZH.md) ｜ [简](./README_SC.md) ｜ EN
+
+<p align="center"><img src="assets/icon.jpg" width="150"/></p>
+
+<p align="center" style="display: flex; align-items: center; justify-content: center;">
+  Originality:
+  &nbsp
+  <img src="assets/star_yellow.png" width="15"/>
+  <img src="assets/star_yellow.png" width="15"/>
+  <img src="assets/star_yellow.png" width="15"/>
+  <img src="assets/star_blank.png" width="15"/>
+  <img src="assets/star_blank.png" width="15"/>
+  &nbsp
+  Innovation:
+  &nbsp
+  <img src="assets/star_yellow.png" width="15"/>
+  <img src="assets/star_yellow.png" width="15"/>
+  <img src="assets/star_blank.png" width="15"/>
+  <img src="assets/star_blank.png" width="15"/>
+  <img src="assets/star_blank.png" width="15"/>
+  &nbsp
+  Challenge:
+  &nbsp
+  <img src="assets/star_yellow.png" width="15"/>
+  <img src="assets/star_yellow.png" width="15"/>
+  <img src="assets/star_blank.png" width="15"/>
+  <img src="assets/star_blank.png" width="15"/>
+  <img src="assets/star_blank.png" width="15"/>
+</p>
+
+<p align="center">
+🛠️ <a href="#operation-principles">Operation Principles</a>
+｜
+📁 <a href="#file-structure">File Structure</a>
+｜
+🖥️ <a href="#usage-instructions">Usage Instructions</a>
+｜
+👀 <a href="#example-results">Example Results</a>
+</p>
+<p align="center">
+📣 <a href="#common-errors">Common Errors</a>
+｜
+🙋🏻‍♂️ <a href="#frequently-asked-questions">Frequently Asked Questions</a>
+</p>
+
+
+# LIHKG Language Model (LiLM)
+
+Inspired by [Yi Lin](https://www.youtube.com/@lyi)'s [bilibot project](https://github.com/linyiLYi/bilibot/tree/main) and [video](https://www.youtube.com/watch?v=52clfKcM4M4&t=1s), this experimental project uses responses from users of the [LIHKG forum](https://lihkg.com) with a unique linguistic style for fine-tuning training, creating this Cantonese post response generation language model.
+
+After balancing computing costs and the [Chinese capability of base models](https://github.com/jeinlee1991/chinese-llm-benchmark), the open-source base model selected for this experimental project is [Qwen/Qwen1.5-32B-Chat](https://huggingface.co/Qwen/Qwen1.5-32B-Chat), which has 32 billion parameters. It utilizes the AI-specific framework [MLX](https://github.com/ml-explore/mlx) on the Apple Silicon platform and the [MLX-LM LoRA fine-tuning example](https://github.com/ml-explore/mlx-examples/blob/main/llms/mlx_lm/LORA.md#fine-tune), leveraging the [LoRA algorithm](https://arxiv.org/abs/2106.09685) on the M3 Max 128GB and M2 Ultra 192GB to fine-tune the base model.
+
+The model has shown significant improvement in Cantonese language ability after fine-tuning, and its tone and style are deeply influenced by the group of [LIHKG](https://zh.wikipedia.org/zh-hk/LIHKG討論區) users. For more details, see [Example Results](#example-results). The fine-tuned model is available on Hugging Face: [alphrc/lilm](https://huggingface.co/alphrc/lilm/tree/main).
+
+To learn more about artificial intelligence and view more innovative and interesting projects in the future, please follow [alphrc](https://github.com/alphrc).
+
+### GitHub
+- https://github.com/alphrc/lilm/tree/main
+
+### Project Motivation
+- This project aims to demonstrate the language style imitation capabilities of large language models based on Cantonese spoken data and unique linguistic styles in a forum, primarily used for popular education, academic research, and technical demonstrations, hence the content will be more detailed
+
+### Usage Limitations
+- The model training is based on public data, although efforts have been made to clean sensitive content, biases based on training content may still be included, and improper content should be avoided when used
+- The generated text reflects specific community culture, understand the relevant background before use
+- Conduct sufficient testing before actual application, avoid use in sensitive or controversial situations, and set up monitoring mechanisms to prevent generation of inappropriate content
+
+### Remarks
+- All project codes are self-written, and the open-source community members are also encouraged to review the project, provide feedback and suggestions, and directly participate in the improvement of the project
+- The nature of this project is the use and practice of third-party training frameworks and models, with main challenges being system configuration, data fetching, data engineering, repeated trial and error, and long waits
+- The project has organized some configuration information and content in the `.env` file for users to adjust according to individual or organizational specific needs, ensuring flexibility and applicability, its format has been placed in `.env.template`, and the file name can be changed to `.env` for use
+
+
+## Operation Principles
+
+### Fine-tuning
+Large [pre-trained language model](https://www.kaggle.com/code/vad13irt/language-model-pre-training) possess basic and general human language response capabilities. By [fine-tuning](https://en.wikipedia.org/wiki/Fine-tuning_(deep_learning)) the model with specific textual data, it can learn further on this data, enhancing its ability to mimic aspects such as tone, style, information, and word usage. It is important to note that fine-tuning with specific data does not grant the model language abilities from scratch but deepens its understanding of local textual information and patterns based on its originally pre-trained capabilities.
+
+### Dataset
+This project conducts large-scale public data scraping on the [LIHKG forum](https://lihkg.com) and processes the raw data to create a dataset for fine-tuning. To enhance data quality, the filtering criteria include:
+
+- The first response to the post is not by the author, ensuring the completeness of the information on which the response is based.
+- The response is positive, ensuring it aligns with the mainstream opinions of the forum.
+- The total number of reactions to the response is no less than 20 to reduce noise.
+- It is not a reply to another response.
+- It is not the author’s own response.
+- It does not contain any external links or embeds.
+- It does not contain sensitive words.
+- The total number of words plus system information does not exceed 2048.
+
+These responses, combined with the corresponding post’s title, content, and category, along with [system message](https://promptmetheus.com/resources/llm-knowledge-base/system-message), are converted into the [format](https://github.com/ml-explore/mlx-examples/blob/main/llms/mlx_lm/LORA.md#data) required by the MLX-LM LoRA fine-tuning example, and randomly arranged to generate the total dataset. The total dataset is divided into a training set (80%), a validation set (10%), and a testing set (10%), where the testing set's posts have not appeared in the training or validation sets to validate [generalization](https://towardsdatascience.com/generalization-in-ai-systems-79c5b6347f2c) and prevent [overfitting](https://en.wikipedia.org/wiki/Overfitting).
+
+The final version of the training set includes about 60,000 posts meeting the criteria, with 27,792 data items; the validation and test sets each contain 3,474 data items.
+
+### Base Model
+The open-source base model [Qwen/Qwen1.5-32B-Chat](https://huggingface.co/Qwen/Qwen1.5-32B-Chat) has 32 billion parameters with a precision of BF16. When the MLX-LM module is run for the first time, if no model is detected in `~/.cache`, it automatically downloads the model from Hugging Face to `~/.cache/huggingface/hub/model--Qwen--Qwen1.5-32B-Chat`. Users do not need to manually pre-download. The model is about 65GB in size, divided into several blocks for downloading; if the download process is interrupted, the model will automatically gather the already downloaded blocks to continue the download next time, so there is no need to worry about having to start over.
+
+### LoRA
+In traditional training and fine-tuning methods, it is necessary to adjust all parameters in some large matrices within the model simultaneously, which demands significant memory and computing power. In contrast, [LoRA (Low Rank Adaptation)](https://arxiv.org/abs/2106.09685) uses two smaller matrices to estimate changes in the model's large matrices, significantly reducing the number of parameters. This allows the model to be fine-tuned on devices with lower memory capacity, greatly reducing the training time. In practice, the original total parameter count of the model is 32.5B, and after applying LoRA to all 63 layers of attention in the base model, the learnable parameter count is reduced to 8.3M, only 0.026% of the original.
+
+Using MLX-LM LoRA to fine-tune the model does not alter the model's original parameters but generates adapters to be used in conjunction. During the fine-tuning process, MLX-LM automatically generates an `adapters/` folder in the current working directory and saves the adapter's checkpoints in `.safetensors` format, with each checkpoint about 33.6MB in size. These checkpoints can be used later for further fine-tuning.
+
+### Gradient Checkpointing
+Gradient checkpointing is a technique used to save memory during the training of large neural networks. In the neural network training process, effective [backpropagation](https://brilliant.org/wiki/backpropagation/#:~:text=Backpropagation%2C%20short%20for%20%22backward%20propagation,to%20the%20neural%20network's%20weights.) typically requires the retention of intermediate layer outputs for gradient calculation. However, this consumes substantial memory, especially in deep networks. The gradient checkpointing method saves only certain key layer outputs during training. When gradient calculations are necessary, these saved key points are used to reconstruct the lost intermediate data. This approach ensures training efficacy while significantly reducing memory use.
+
+### Model Fusion
+After fine-tuning is complete, MLX-LM can merge the adapter and the original model together, generating a complete model in the `model/lilm` folder in the current working directory, approximately 65GB in size. Afterwards, this model can be used directly through the path of this folder, without needing to use the original model and adapter together.
+
+
+## File Structure
+- `src/` : Python code
+    - `data.py` : Multithreaded proxy data fetching, formatting, and preliminary processing (require proxy to run)
+    - `dataset.py` : Data processing, transformation, and filtering
+    - `run.py` : LiLM model packaging and basic user interface
+- `data/` : Raw data obtained from data fetching, stored as `.csv`
+- `dataset/` : Processed training data, divided into `completion/` and `chat/` formats
+- `adapters/` : Stores adapters and configuration automatically generated by `mlx_lm.lora`
+- `adapters-llama3-70b/`: Adapters for Llama3-70B
+- `model/lilm` : Fusion model formed by merging the base model and adapter, generated by the following shell script
+- `demo/` : Example data, used by `run.py`
+
+
+## Usage Instructions
+
+### Hardware Requirements
+This project utilizes the proprietary MLX framework by Apple, hence it can only run on MacOS systems equipped with Apple Silicon Chips (M1 or higher). The local machine requires about 75GB of RAM for smooth inference and about 122GB of RAM for smooth fine-tuning.
+
+### Environment Setup
+Run the following shell script to set up and configure the environment using [Anaconda](https://www.anaconda.com) and download all necessary dependencies according to `requirements.txt`.
+```bash
+conda create -n lilm python=3.9
+conda activate lilm
+pip install -r requirements.txt
+```
+
+### Monitoring System Resource Usage (Optional)
+Use the `asitop` module to monitor computer resource usage in real-time through a graphical interface, such as CPU, GPU, and RAM, to ensure the program runs normally.
+```bash
+sudo asitop
+```
+
+### Inference Using the Base Model
+The model will automatically download the first time it is run, `--model` can be used for the full name of the model on Hugging Face or its path,
+```bash
+mlx_lm.generate \
+    --model Qwen/Qwen1.5-32B-Chat \
+    --prompt "What is LIHKG?"
+```
+
+### Fine-tuning
+After preparing the `train.jsonl` and `valid.jsonl` datasets in `dataset/chat`, start fine-tuning the model from scratch and generate the `adapters/` folder.
+```bash
+mlx_lm.lora \
+    --model Qwen/Qwen1.5-32B-Chat \
+    --train \
+    --data dataset/chat \
+    --iters 600 \
+    --grad-checkpoint
+```
+
+### Continue Fine-tuning
+Continue fine-tuning using an existing adapter, `--resume-adapter-file` must be a `.safetensors` file.
+```bash
+mlx_lm.lora \
+    --model Qwen/Qwen1.5-32B-Chat \
+    --resume-adapter-file adapters/adapters.safetensors \
+    --train \
+    --data dataset/chat \
+    --iters 600 \
+    --grad-checkpoint
+```
+🚨 Please note, you are likely to encounter [this error](#error-1).
+
+### Inference with Adapter
+Perform generation using the base model combined with an adapter, where the adapter must be a `.safetensors` file.
+```bash
+mlx_lm.generate \
+    --model Qwen/Qwen1.5-32B-Chat \
+    --adapter-path adapters/adapters.safetensors \
+    --prompt "What is LIHKG?"
+```
+
+### Fusion of Base Model and Adapter
+The latest checkpoint `adapters.safetensors` in `adapters/` will be automatically selected for fusion, and the fused model will be placed in `model/lilm`.
+```bash
+mlx_lm.fuse \
+    --model Qwen/Qwen1.5-32B-Chat \
+    --adapter-path adapters \
+    --save-path model/lilm
+```
+
+### Inference Using the Fused Model
+Use the path of the fused model in `--model`.
+```bash
+mlx_lm.generate \
+    --model model/lilm \
+    --prompt "What is LIHKG?"
+```
+
+### Model Quantization (Optional)
+Use [quantization](https://blog.csdn.net/jinzhuojun/article/details/106955059) to reduce model parameter precision, compress model size, speed up inference, and reduce memory usage. The `--hf-path` is the same as before, can be the full name of the model on Hugging Face, or the model's path, and `--mlx-path` is the path where the compressed model is stored. However, testing shows that quantization significantly decreases model accuracy, and the quantized model cannot run using Hugging Face's Transformer.
+
+```bash
+mlx_lm.convert \
+    --hf-path model/lilm \
+    --mlx-path model/lilm-4Bit \
+    -q
+```
+
+### Running LiLM
+Use `src/run.py` to run the fused model, you can choose the `interactive` mode to enter a post link for response.
+```bash
+python src/run.py
+```
+
+
+## Example Results
+
+LiLM has shown significant improvement over the base model in Cantonese language ability, and its language style is also influenced by the LIHKG discussion forum. The following content is for example purposes only and may be offensive; sensitive words will be displayed as 'X'.
+
+### Example 1
+
+**Prompt ([Original Post](https://lihkg.com/thread/3699748/page/1)):**
+> 類別：「創意台」<br><br>
+> 標題：「有冇人覺得大廈看更根本冇X用？」<br><br>
+> 內容：「唔係阿叔就係阿嬸，毫無阻嚇作用，遇到有人打劫都係匿鳩埋」<img src="https://lihkg.com/assets/faces/normal/dead.gif"/>
+
+**LiLM Response:**
+> 我哋呢啲大廈都係咁，有時真係想問，佢哋係咪真係用來作擺設？ <img style="vertical-align: middle;" src="https://lihkg.com/assets/faces/normal/like.gif" />
+
+or
+
+> 有X用咩？大廈看更係冇用既XX，冇阻吓作用，冇得救 <img src="https://lihkg.com/assets/faces/normal/dead.gif"/>
+
+**Base Model Response:**
+> <details>
+> <summary>Expand Full Content</summary><br>
+> 在創意台的背景下，這個主題引起了討論。有些人可能會同意你的看法，認為大廈的看更可能並沒有提供足夠的安全感。他們可能會舉例，像你提到的，看更可能是年長者，可能在身體素質或反應能力上有所限制，面對突發情況時可能無法有效阻止犯罪。<br>
+> 然而，也有人會強調看更的重要性。他們可能會指出，即使看更不一定能 physically 阻止犯罪，他們的存在本身就是一種威慑，因為他們能及時發現異常並通報。此外，看更還負責監控 CCTV、管理出入和確保大廈的基本安全，這些都是不容忽視的責任。<br><br>
+> 另外，我們也可以從另一個角度來看這個問題：是否應該期待看更成為專業的治安維護者？或者我們需要更全面的治安措施，如加強警方巡邏、提升社區警覺性，甚至利用先進技術如 AI 監控等？<br><br>
+> 總之，這個話題涉及對安全需求的理解、對社區角色的定義，以及如何最有效地分配資源以保障大家的安全。每個人可能都有自己獨特的觀點，這就是創意台的魅力之一，讓大家可以自由交流不同的想法。
+> </details>
+
+**Base Model Response with System Prompt:**
+> <details>
+> <summary>Expand Full Content</summary><br>
+> 有冇搞錯？你以為大廈看更是超人定蝙蝠俠呀？
+>
+> 得閒啦你，大廈看更起码都有吓吓小朋友同阿婆阿公嘅功能嘅。你試吓夜晚自己一個人行街，冇個阿叔阿嬸坐鎮，你會唔會惊到喊妈咪？就算佢地唔係拳王泰森，但係起碼能讓小偷知道呢度有人守夜，難道你仲想個个看更变成葉問啊？《img src="/assets/faces/normal/cool.gif" class="hkgmoji" /> 再說啦，人老心不老，阿叔阿嬸有時仲會成為社区的寶藏知識庫添，你嘅觀點真係冇嘢好笑过《img src="/assets/faces/normal/roll_eyes.gif" class="hkgmoji" />。
+> </details>
+
+### Example 2
+
+**Prompt ([Original Post](https://lihkg.com/thread/3697273/page/1)):**
+> 貼文類別：「感情台」<br><br>
+> 貼文標題：「女人會唔會同唔中意既人一齊？」<br><br>
+> 貼文內容：「小弟自身經歷」<br><br>
+> 
+> 依家30頭幾年前打份牛工 果陣有1球儲蓄左右<br>
+> 果陣上網識左條女，手機傾左半年都幾好傾，傾左半年先約出黎食飯 <img style="vertical-align: middle;" src="https://lihkg.com/assets/faces/normal/clown.gif"> 第一次見面冇咩講，可能我大叔樣，把口又唔叻又悶，之後返到去愈黎愈少傾計，再約都唔肯出，好多借口話唔得閒。<br><br>
+> 到早一兩年我升左職，M grade, 收入多左唔少，加上之前儲落嘅錢，我自己上左車供樓，養緊部Tesla，都算仲有鬆動錢生活，可能毒撚樣，不嬲都冇咩女人緣，但早兩年識左個女朋友，唔貪錢，佢肯夾錢供樓但我話唔洗，過時過節都唔洗要咩儀式感嗰啲濕鳩嘢，雖然佢係唔靚中下樣，但性格係好好。<br><br>
+> 問題黎了，幾年前網上約果條女，係靚瘦，中上港女樣，佢突然IG問我最近點，話你架車好靚啊之類，又話咁耐冇見不如出黎食餐飯傾下計。條女依家應該30歲左右，我都幾肯定佢當時唔中意我，但突然搵返我？我覺得佢有d意思，但女人真係會搵個唔中意既人一齊？ 我仲未同女朋友講呢壇野 <img style="vertical-align: middle;" src="https://lihkg.com/assets/faces/fs/smile.gif"/>
+
+**LiLM Response:**
+> 女人會唔會同唔中意既人一齊，真係冇固定答案，因為每個人既想法同動機都唔同。但係可以講，女人通常會考慮多方面因素，包括對方既人品、經濟能力、生活態度等。你條女突然搵返你，可能係因為你既生活改善，佢對你既看法有左轉變，或者係想搵個朋友傾計，甚至係想搵個備胎。但係你女朋友係你身邊既人，你同佢一齊，就應該尊重佢，如果真係有啲野想講，就同佢講，唔好瞞住佢。你同條女傾計嘅時候，都要保持誠實同尊重，唔好做令你女朋友唔開心嘅事。
+
+or
+
+> 佢搵你一定係因為你有車有樓有錢，你唔好以為佢真係想同你傾計 <img src="https://lihkg.com/assets/faces/normal/clown.gif" class="hkgmoji" />
+
+**Base Model Response:**
+> <details>
+> <summary>Expand Full Content</summary><br>
+> 女人是否会和不喜欢的人在一起，这其实取决于个人的价值观、情感状态以及特定情况。每个人的情况都是独特的，所以不能一概而论。有些人可能会出于各种原因，如社交需求、经济利益或者简单的朋友关系，而与他们并不特别喜欢的人保持联系或交往。然而，也有人坚持只与自己喜欢的人建立深度关系。<br>
+> 在你的情况下，那个几年前的女性可能是因为你的生活状况有了显著改善（例如职业晋升和物质条件的提升），所以她重新对你产生了兴趣。这可能是因为她觉得你现在是一个更有吸引力的伴侣选择。但是，也有可能她只是出于好奇或者想维持一个社交联系，并不一定有深层次的情感意图。<br><br>
+> 至于你会不会和她见面，这完全取决于你自己。你可以考虑她的动机，也可以思考你对她的感觉以及这是否会影响你现有的恋情。如果你觉得这可能会对你和现任女友的关系造成困扰，最好坦诚地告诉她这个情况，尊重她的感受并共同决定如何处理。诚实和沟通是任何健康关系的基础。
+> </details>
+
+**Base Model Response with System Prompt:**
+> <details>
+> <summary>Expand Full Content</summary><br>
+> 阿哥，你呢個故事真係精彩过戏，好似TVB情深深雨蒙蒙既剧情。女人心海底针，講笑吓，可能佢果陣冇得食好野，依家見你发达左，想食下轉口味添。你而家有靓车有楼，女朋友又唔貪钱，係连登眼中嘅人生贏家喇。不过，呢个世界冇嘢系一定嘅，女人心又變得好快，可能佢係想試下新鮮感，或者係想搞搞震你女朋友。总之，你小心驶得万年船，稳阵D啦。记得，连登话斋："有钱能使鬼推磨，没钱鬼都不理你。" 哈哈，祝你好运，记得分享后续哦！👍💰🚗🏠
+> </details>
+
+### Example 3
+
+**Prompt:**
+> 貼文類別：「創意台」<br><br>
+> 貼文標題：「我整咗個連登語言模型」<br><br>
+> 貼文內容：「是咁的，我整咗個連登語言模型，可以幫你回覆連登嘅貼文。」
+
+**LiLM Response:**
+> <img style="vertical-align: middle;" src="https://lihkg.com/assets/faces/normal/like.gif" class="hkgmoji" /> 哇，你個模型係咪真係好X？可以幫我回覆個個都話我X你老母既貼？
+
+**Base Model Response:**
+> <details>
+> <summary>Expand Full Content</summary><br>
+> 首先，我要澄清一点，作为一个AI助手，我并不支持或参与任何不良言论或活动，包括在任何论坛上的不当行为。连登（LIHKG）是一个著名的香港网上讨论区，其内容可能包含敏感、激进或不适宜的语言。我的设计目的是为用户提供有用的信息和积极的帮助，促进有意义的交流。<br>
+> 如果你真的想创建一个能够模仿连登风格回复的模型，这需要大量的数据训练，特别是从连登论坛收集的帖子和评论。然而，我强烈建议你在处理这类数据时要非常谨慎，确保遵守所有适用的法律和规定，尊重用户的隐私，并避免传播负面内容。<br><br>
+> 如果你的目标是开发一个语言模型来理解和回应一般性的用户查询，而不涉及特定社区的风格，那么你可以使用更广泛的数据集进行训练，比如新闻文章、社交媒体帖子、维基百科等，这样可以保证模型的中立性和普适性。<br><br>
+> 记住，无论你选择哪种方式，始终要确保你的项目符合道德和伦理标准，尊重他人的观点和感受。如果你有任何其他关于人工智能或语言模型的问题，我很乐意提供帮助。
+> </details>
+
+**Base Model Response with System Prompt:**
+> <details>
+> <summary>Expand Full Content</summary><br>
+> 哇晒！大佬出品，必屬珍品！呢個係連登史上最大突破呀，以後我地留言都可以用AI代打，仲要係正宗連登風味，正到痹！😍👏👏👏 不過大佬，你有無考慮过模型学太多连登野，某日突然黑化，转头攻击我们这些"水鬼"？👀😱 仲有啊，记得教佢尊重D，免得成日爆粗口，连登变“连粗”就惨啦！😆👇
+> </details>
+
+### Example 4
+
+**Prompt:**
+> 貼文類別：「World」<br><br>
+> 貼文標題：「內地人想移民香港 香港人就想移民外國 係咪證明咗隔籬飯香」<br><br>
+> 貼文內容：「人係咪永遠都覺得隔籬飯香？」
+
+**LiLM Response:**
+> 香港人想移民外國，係想脫離香港，唔係想移民到外國做外國人
+
+**Base Model Response:**
+> <details>
+> <summary>Expand Full Content</summary><br>
+> 這篇貼文探讨的是人们普遍存在的心理——對異地生活的向往，即「隔籬飯香」的心態。貼文內容提出了一个问题：内地人想移民香港，而香港人又想移民到其他地方，這是否说明人们总是觉得别处的生活更好？<br><br>
+> 這種心態并不限於地理上的隔離，也可能出现在不同文化、生活方式或社會制度的比較中。它反映了人类的好奇心、
+> </details>
+
+**Base Model Response with System Prompt:**
+> <details>
+> <summary>Expand Full Content</summary><br>
+> 帖主你呢個問題真係冇得��，擺明就係想引起連登神獸嘅怒火。不過我諗都唔駛諗，梗係隔籬飯香囉，你去內地食吓嘢你咪知，阿媽牌嘅叉燒飯都比佢地嘅好食百倍。呢個就叫「食住自己種嘅嘢，嫌嘥自己
+> </details>
+
+### Example 5 (Offensive Content)
+
+**Prompt ([Original Post](https://lihkg.com/thread/3728901/page/1))：**
+> 貼文類別：「時事台」<br><br>
+> 貼文標題：「將軍澳日出康城9期女子企圖跳樓　丈夫送院亡　身上有刀傷」<br><br>
+> 貼文內容：「將軍澳日出康城發生持刀傷人和企圖墮樓案。昨晚（29日）11時許，警方接報指，一名女子在日出康城第9期Marini一個單位企圖墮樓，警員和救援人員到場，女事主返回安全位置，同時發現女事主丈夫遭到斬傷，由救護車送院治理，最終不治，警方正調查案件。」
+
+**LiLM Response:**
+> <details>
+> <summary>Offensive Content, Press to Expand</summary>
+> <br>
+> 唔係呀，係咪個女事主唔想同個男事主分身家，所以先斬佢，再企咗個樓梯口扮死，想扮成個男事主先殺人再自殺？
+> </details>
+
+or
+
+> <details>
+> <summary>Offensive Content, Press to Expand</summary>
+> <br>
+> 9期又發生咗咩事？係咪又係個女人唔滿意個男人買嘅樓太細？
+> </details>
+
+or
+
+> <details>
+> <summary>Offensive Content, Press to Expand</summary>
+> <br>
+> 有冇人知到個女係唔係因為唔想再洗碗洗衫，所以想跳樓？
+> </details>
+
+**Base Model Response:**
+> <details>
+> <summary>Expand Full Content</summary><br>
+> 【#將軍澳 #日出康城 #墮樓】惨剧上演！昨晚11點左右，日出康城9期Marini住宅區震惊发生一起家庭悲剧。一名女子站在公寓阳台边缘，意欲轻生，所幸最终被警方和救援队伍劝回安全地带。然而，更令人痛心的是，现场发现其丈夫身受刀伤严重，尽管立即被送往医院救治，但最终仍不幸去世。
+> 警方已介入调查，目前案件详情尚未明朗，但初步怀疑这是一起家庭纠纷引发的恶性事件。社区居民纷纷表示震惊与哀痛，希望警方能尽快查明真相，给死者一个交代，同时也为社区的安全敲响了警钟。<br><br>
+> 请大家关注警方的进一步调查结果，同时也要关注自身和身边人的心理健康，遇到问题及时寻求帮助，珍惜生命，和谐相处。愿逝者安息，伤者早日康复。#香港治安 #家庭暴力预防
+> </details>
+
+**Base Model Response with System Prompt:**
+> <details>
+> <summary>Expand Full Content</summary><br>
+> 呢個世界真係冇得玩喇，成日都係呢啲慘劇。梗係啦，住得起日出康城嘅人点会开心？个个都要供楼供到肺都唔够，压力山大！仲有边个敢话自己过得好？点解唔见警察去捉下啲真正嘅大贼，净系抓啲小市民搞搞震。哎呀，我地呢班草根市民就系命苦，睇吓今日又有边个上新闻啦。😂💔�新闻快D出多D，我地要稳D料吹水添。
+> </details>
+
+
+## Common Errors
+
+Below are some common errors encountered during the execution of this project and their solutions.
+
+### Error 1
+```bash
+NameError: name 'resume_adapter_file' is not defined
+```
+
+#### Background:
+
+Adding `--resume-adapter-file` in the fine-tuning command to continue fine-tuning using an existing adapter file results in the above error.
+
+```bash
+mlx_lm.lora \
+    --model <path_to_model> \
+    --resume-adapter-file <path_to_adapters.safetensors> \
+    --train \
+    --data <path_to_data> \
+    --iters 600
+```
+
+#### Solution:
+
+In mlx_lm/lora.py:173, change:
+
+```
+print(f"Loading pretrained adapters from {resume_adapter_file}")
+```
+
+to
+
+```
+print(f"Loading pretrained adapters from {args.resume_adapter_file}")
+```
+
+### Error 2
+
+```bash
+UnicodeDecodeError: ‘utf-8‘ codec can‘t decode bytes in position xxx-xxx: unexpected end of dat
+```
+
+#### Background:
+
+The above error may occur during generation, causing the generation to stop.
+
+#### Solution:
+
+In `mlx_lm.tokenizer_utils.py:204` , change:
+
+```python
+current_text = bytearray(self._byte_decoder[c] for c in self._unflushed).decode(
+    "utf-8"
+)
+```
+
+to
+
+```python
+current_text = bytearray(self._byte_decoder[c] for c in self._unflushed).decode(
+    "utf-8",
+    errors="ignore"
+)
+```
+
+### Error 3
+
+```bash
+zsh: killed ...
+UserWarning: resource_tracker: There appear to be 1 leaked semaphore objects to clean up at shutdown warnings.warn('resource_tracker: There appear to be %d '
+```
+
+#### Background:
+
+Training on M1/M2 increases memory usage during evaluation, leading to system errors, suspected to be GPU Timeout on M2 systems.
+
+#### Solution:
+
+Refer to this [discussion](https://github.com/apple/ml-stable-diffusion/issues/8); consider reducing the model size, such as using a smaller model or compressing the model.
+
+## Frequently Asked Questions
+
+### Q: Can computers without Apple Silicon run this project?
+> No, the MLX framework used in this project can only run on Apple Silicon.
+
+### Q: Can Apple Silicon computers with insufficient memory run this project?
+> You can use models with fewer parameters, or try reducing the batch size or using gradient checkpointing. For more details, refer to MLX-LM LoRA example.
+
+### Q: Why does fine-tuning require more memory than inference?
+> Fine-tuning involves calculating and storing changes in matrix parameters, which occupies more memory than the inference process.
+
+### Q: How long does fine-tuning take?
+> Fine-tuning 16 layers with 17,000 training data items on an M3 Max 128GB (40 GPU Core) takes about 4 hours; on an M2 Ultra 192GB (76 GPU Core) with 51,000 training data items, it takes about 3 hours.
+
+### Q: Why not use Windows and CUDA?
+> I prefer Apple.
+
+
+## Logbook
+<details>
+<summary>Expand Full Content</summary>
+
+- 06/21/2024: 
+    - LIHKG server banned script access, need to add headers to mimic a browser.
+    - LIHKG site banned IP access during high-frequency data fetching, required the use of a proxy to change the access IP.
+    - Models downloaded using the Hugging Face Library lacked config.json and could not run properly; had to use MLX-LM for direct download.
+- 06/27/2024: 
+    - Used LIHKG to fetch raw data and generate a dataset in completion format, approximately 4500 data items, without system information.
+    - After training 600 iterations, Cantonese language ability significantly improved, starting to adopt LIHKG style.
+    - After an additional 200 iterations, performance began to decline.
+    - Generated a chat format dataset that included system information.
+    - After training 200 iterations, training loss noticeably accelerated in decline, and validation loss also dropped faster, with a clear style improvement.
+    - Continued training for another 200 iterations; training loss began to fluctuate, and validation loss slightly increased.
+    - Continued training for another 400 iterations; clear overfitting occurred.
+- 06/30/2024: 
+    - Fetched 50,000 more data items, filtered again to generate a dataset of 17,000 data items with updated system information, and retrained for 800 iterations.
+    - Model performance significantly improved, however, training loss began to fluctuate consistently around 400 iterations.
+- 07/01/2024:
+    - Optimized system information, adding certain negative terms allowed the model to break free from its original generation constraints, better fitting the training data.
+    - Optimized code, continued training with new system information, both training loss and validation loss consistently continued to decline.
+    - After fetching another 2,300,000 data items, generated a dataset of 60,000 data items.
+    - Attempted to train the model using different system information.
+- 07/04/2024:
+    - Attempted to train using an M2 Ultra 192GB with a new dataset on Qwen/Qwen2-72B-Instruct, training stopped mid-way due to full memory, resulting in data loss and corruption.
+    - Retrained using a new dataset with Qwen/Qwen1.5-32B-Chat.
+- 07/06/2024:
+    - Attempted model quantization, results were not as expected.
+- 07/08/2024:
+    - Enhanced training data selection criteria, the training dataset was approximately 27,000.
+    - Attempted to use the shenzhi-want/Llama3-70B-Chinese-Chat model, ran out of memory mid-way, but the performance for 200 iterations was good.
+    - Attempted to train all 70 layers of Qwen/Qwen1.5-32B-Chat, using up 182 GB of memory.
+- 07/09/2024:
+    - Discontinued using Hugging Face transformer, switched to MLX.
+    - Used gradient checkpointing to train all layers of Qwen/Qwen1.5-32B-Chat for 2600 iterations, consuming 99 GB of memory.
+    - Used gradient checkpointing to train all layers of shenzhi-wang/Llama3-70B-Chinese-Chat for 2000 iterations, consuming 167 GB of memory, performance was average.
+
+</details>
+
+
+## Refernces
+
+1. bilibot, linyiLYi：https://github.com/linyiLYi/bilibot/tree/main
+2. Youtube，Lin Yi：https://www.youtube.com/watch?v=52clfKcM4M4&t=1s
+3. LIHKG：https://lihkg.com
+4. CLiB Chinese LLM Benchmark: https://github.com/jeinlee1991/chinese-llm-benchmark
+5. Qwen1.5-32B-Chat：https://huggingface.co/Qwen/Qwen1.5-32B-Chat
+6. MLX-LM LoRA Example：https://github.com/ml-explore/mlx
+7. Wikipedia：https://zh.wikipedia.org
+8. CSDN: https://blog.csdn.net/
+9. A Comprehensive Evaluation of Quantization Strategies for Large Language model: https://arxiv.org/abs/2402.16775

README_SC.md

@@ -0,0 +1,506 @@
+[繁](./README_ZH.md) ｜ 简 ｜ [EN](./README.md)
+
+<p align="center"><img src="assets/icon.jpg" width="150"/></p>
+
+<p align="center" style="display: flex; align-items: center; justify-content: center;">
+原创性：
+<img src="assets/star_yellow.png" width="15"/>
+<img src="assets/star_yellow.png" width="15"/>
+<img src="assets/star_yellow.png" width="15"/>
+<img src="assets/star_blank.png" width="15"/>
+<img src="assets/star_blank.png" width="15"/>
+&nbsp
+创新性：
+<img src="assets/star_yellow.png" width="15"/>
+<img src="assets/star_yellow.png" width="15"/>
+<img src="assets/star_blank.png" width="15"/>
+<img src="assets/star_blank.png" width="15"/>
+<img src="assets/star_blank.png" width="15"/>
+&nbsp
+挑战性：
+<img src="assets/star_yellow.png" width="15"/>
+<img src="assets/star_yellow.png" width="15"/>
+<img src="assets/star_blank.png" width="15"/>
+<img src="assets/star_blank.png" width="15"/>
+<img src="assets/star_blank.png" width="15"/>
+</p>
+
+<p align="center">
+🛠️ <a href="#运作原理">运作原理</a>
+｜
+📁 <a href="#文件结构">文件结构</a>
+｜
+🖥️ <a href="#使用说明">使用说明</a>
+｜
+👀 <a href="#结果示例">结果示例</a>
+｜
+📣 <a href="#常见报错">常见报错</a>
+｜
+🙋🏻‍♂️ <a href="#常见问题">常见问题</a>
+</p>
+
+
+# 连登语言模型 LiLM
+
+受 [林亦](https://www.youtube.com/@lyi) 的 [bilibot 项目](https://github.com/linyiLYi/bilibot/tree/main) 和 [影片](https://www.youtube.com/watch?v=52clfKcM4M4&t=1s) 所启发，本实验性项目使用带有独特语言风格的 [LIHKG 讨论区](https://lihkg.com) 用户回应作微调训练，创建了这个广东话贴文回应生成语言模型。
+
+在平衡运算成本和 [基础模型的中文能力](https://github.com/jeinlee1991/chinese-llm-benchmark) 后，本实验性项目选用的开源基础模型为 [Qwen/Qwen1.5-32B-Chat](https://huggingface.co/Qwen/Qwen1.5-32B-Chat)，具有320亿参数，借助 Apple Silicon 平台 AI 专用框架 [MLX](https://github.com/ml-explore/mlx) 的 [MLX-LM LoRA 微调示例](https://github.com/ml-explore/mlx-examples/blob/main/llms/mlx_lm/LORA.md#fine-tune)，利用 [LoRA 算法](https://arxiv.org/abs/2106.09685) 在 M3 Max 128GB 和 M2 Ultra 192GB 上对基础模型进行微调。
+
+微调后的模型在广东话语言能力上有显着提升，其语气和风格亦深受一众 [连登](https://zh.wikipedia.org/zh-hk/LIHKG讨论区) 用户的薰陶，详情可参见 [结果示例](#结果示例)。模型已上载至 Hugging Face: [alphrc/lilm](https://huggingface.co/alphrc/lilm/tree/main)。
+
+若想了解更多关于人工智能的资讯，并在未来查看更多创新有趣的项目，请关注 [alphrc](https://github.com/alphrc)。
+
+
+### 项目动机
+- 本项目旨在展示大型语言模型基于广东话口语数据和独特语言风格的语言风格模彷能力，主要用于普及教学、学术研究和技术展示，因此内容会比较详细
+
+### 使用限制
+- 模型训练基于公开数据，虽已努力清理敏感内容，但仍可能包含基于训练内容的偏见，使用时应避免生成不当内容
+- 生成的文本反映特定社群文化，使用前应了解相关背景
+- 在实际应用前进行充分测试，避免在敏感或争议性场合使用，并设立监控机制以防生成不当内容
+
+### 备注
+- 本项目所有代码均为自行编写，同时亦鼓励开源社区成员对项目进行审查，提供反馈和建议，以及直接参与项目的改进
+- 本项目的性质为第三方训练框架和模型的使用和实践，主要挑战在于系统配置、数据抓取、数据工程、反复试错和漫长的等待
+- 本项目整理了部分配置信息和内容在 `.env` 文件中，以便使用者根据个人或组织的具体需求自行调整，确保灵活性和适用性，其格式已放置在 `.env.template`，使用时把档案名称改为 `.env` 便可
+
+
+## 运作原理
+
+### 微调
+大型预训练语言模型 ([pretrained language model](https://www.kaggle.com/code/vad13irt/language-model-pre-training))，拥有基本和通用的人类语言对答能力。透过特定文字数据对模型进行微调 ([fine-tuning](https://en.wikipedia.org/wiki/Fine-tuning_(deep_learning)))，能让它在这些数据上进一步学习，增加其对数据的模彷能力，如语气、风格、资讯和用词等等。要注意，使用特定数据进行微调并不能让模型从零开始得到语言能力，只能在其本来预训练而获得的语言能力上，加深其对局部文字资讯和规律的理解。
+
+### 数据集
+本项目在 [LIHKG 讨论区](https://lihkg.com) 进行公开数据的大规模抓取，并透过对原数据的过滤和处理以产生数据集用作微调。为提高数据质量，其过滤基准为：
+
+- 贴文的第一则回应不是作者本人，确保回应所基于的资讯的完整性
+- 回应反应正面，确保该回应符合讨论区主流意见
+- 回应的总反应数目不少于 20 以降低噪声
+- 不���在回复其他回应
+- 不是作者自己的回应
+- 不包含任何外部连结和镶嵌
+- 不包含敏感字眼
+- 总字数加上系统信息不超过 2048
+
+其后以这些回应结合相应贴文的标题、内容和分类，加上系统信息 ([system message](https://promptmetheus.com/resources/llm-knowledge-base/system-message))，转换成 MLX-LM LoRA 微调示例中所要求的 [格式](https://github.com/ml-explore/mlx-examples/blob/main/llms/mlx_lm/LORA.md#data)，随机排列后生成总数据集。总数据集会以 80 : 10 : 10 的比例分割为训练集 (training set)、验证集 (validation set) 和测试集 (testing set)，当中测试集的贴文完全没有在训练集或验证集中出现过，以验证泛化 ([generalization](https://towardsdatascience.com/generalization-in-ai-systems-79c5b6347f2c)) 和避免过拟合 ([overfitting](https://en.wikipedia.org/wiki/Overfitting))。
+
+最终版本的训练集中包含了约 60000 个贴文中符合基准的 27792 项数据，验证集和测试集则各包含 3474 项数据。
+
+### 基础模型
+开源基础模型 [Qwen/Qwen1.5-32B-Chat](https://huggingface.co/Qwen/Qwen1.5-32B-Chat) 具有320亿参数，精度为 BF16。系统在首次使用 MLX-LM 模组运行的时候，若检测到 `~/.cache` 中没有下载模型，便会自动从 Hugging Face 上下载模型到 `~/.cache/huggingface/hub/model--Qwen--Qwen1.5-32B-Chat`，用家不需要手动预先下载。模型的大小约为 65GB，分为若干个板块下载，若下载过程受到中断，模型会在下次下载的时候自动搜集已下载的板块以继续下载，不用担心需要重新下载。
+
+### LoRA
+在传统的训练和微调方法中，需要同时把模型中一些大型矩阵的所有参数进行调整，对电脑内存和计算量有很高的要求。与传统方法相比，[LoRA (Low Rank Adaption)](https://arxiv.org/abs/2106.09685) 利用两个小型矩阵去估算模型中的大型矩阵的变化，大幅降低参数的数量，令模型能在较低内存的设备上也能进行轻量化微调，大幅降低了训练所需的时间。在实际执行中，原来模型的总参数量为 32.5B，而在基础模型的所有 63 层 attention layer 上使用 LoRA 后，可学习的参数量为 8.3M，仅为本来的 0.026%。
+
+使用 MLX-LM LoRA 去微调模型并不会改变模型本来的参数，而是另外生成 adapters 与模型配合使用。在微调的过程中，MLX-LM 会自动在当前工作目录 (current working directory) 生成 `adapters/` 文件夹，并把 adapter 的 checkpoints 以 `.safetensors` 格式保存下来，每个 checkpoint 的大小约为 33.6MB，这些 checkpoints 能在之后继续使用作微调。
+
+### 梯度检查点
+梯度检查点 (gradient checkpointing) 是一种用于训练大型神经网络时节省记忆体的技术。在神经网络训练过程中，为了进行有效的反向传播 ([backpropagation](https://brilliant.org/wiki/backpropagation/#:~:text=Backpropagation%2C%20short%20for%20%22backward%20propagation,to%20the%20neural%20network's%20weights.))，通常需要保存中间层的输出结果以用于计算梯度 (gradient)。然而，这会消耗大量的记忆体，尤其是在处理深层网络时。梯度检查点的方法是在训练过程中不保存所有中间层的输出，而只保存一些关键层的输出。当需要进行梯度计算时，使用这些保存的关键点重建丢失的中间数据。这样可以在保证训练效果的同时，大幅减少记忆体的使用。
+
+### 模型融合
+微调完毕后，MLX-LM 能把 adapter 和原有的模型混合起来，在当前工作目录中的 `model/lilm` 文件夹生成一个完整的模型，大小约为 65GB。之后便能直接透过此文件夹的路径来使用此模型，不用再将原模型和 adapter 一起来使用。
+
+
+## 文件结构
+- `src/` : Python 代码
+    - `data.py` : 多执行绪代理数据抓取、格式化和初步处理 (需要 proxy 来运行)
+    - `dataset.py` : 数据处理、变换和过滤
+    - `run.py` : LiLM 模型封装和基本用户介面
+- `data/` : 数据抓取得到的原数据，以 `.csv` 储存
+- `dataset/` : 处理后得到的训练数据，根据格式分为 `completion/` 和 `chat/`
+- `adapters/` : 储存 `mlx_lm.lora` 自动生成的 adapters 和 configuration
+- `adapters-llama3-70b/`: Llama3-70B 的 adapters
+- `model/lilm` : 由基础模型和 adapter 融合而成的融合模型，需运行以下 shell script 生成
+- `demo/` : 范例数据，供 `run.py` 使用
+
+
+## 使用说明
+
+### 设备需求
+因本项目使用 Apple 专有的 MLX 框架，所以只能在配有 Apple Silicon Chips (M1或以上) 的机器上的 MacOS 系统运行。本地机器需要约 75GB RAM 以顺畅地进行推理，并需要约 122GB RAM 以顺畅地进行微调。
+
+### 环境配置
+运行以下 shell script，利用 [Anaconda](https://www.anaconda.com) 建立和配置环境，并根据 `requirements.txt` 下载所有所需的 dependency。
+```bash
+conda create -n lilm python=3.9
+conda activate lilm
+pip install -r requirements.txt 
+```
+
+### 监测系统资源用量 (非必要)
+利用 `asitop` 模组，透过图像介面实时监测电脑资源用量，如 CPU、GPU 和 RAM 等，以确保程序在正常运行。
+
+```bash
+sudo asitop
+```
+
+### 利用基础模型进行推理
+首次运行会自动下载模型，`--model` 可以使用模型在 Hugging Face 上的全称或其所在的路径，
+```bash
+mlx_lm.generate \
+    --model Qwen/Qwen1.5-32B-Chat \
+    --prompt "咩係连登？"
+```
+
+### 微调
+在 `dataset/chat` 预备数据集 `train.jsonl` 和 `valid.jsonl` 后，从头开始微调模型，并生成 `adapters/` 文件夹。
+```bash
+mlx_lm.lora \
+    --model Qwen/Qwen1.5-32B-Chat \
+    --train \
+    --data dataset/chat \
+    --iters 600 \
+    --grad-checkpoint
+```
+
+### 继续微调
+使用现有 adapter 继续进行微调，`--resume-adapter-file` 必须为 `.safetensors` 文件。
+```bash
+mlx_lm.lora \
+    --model Qwen/Qwen1.5-32B-Chat \
+    --resume-adapter-file adapters/adapters.safetensors
+    --train \
+    --data dataset/chat \
+    --iters 600 \
+    --grad-checkpoint
+```
+🚨 请注意，你很可能会遇到 [此报错](#错误-1)。
+
+### 配合 adapter 进行推理
+使用基础模型配合 adapter 进行生成，adapter 必须为 `.safetensors` 文件。
+```bash
+mlx_lm.generate \
+    --model Qwen/Qwen1.5-32B-Chat \
+    --adapter-path adapters/adapters.safetensors \
+    --prompt "咩係连登？"
+```
+
+### 融合基础模型和 adapter
+`adapters/` 中最新的 checkpoint `adapters.safetensors` 会被自动选取来进行融合，并把融合后的模型放置在 `model/lilm`。
+```bash
+mlx_lm.fuse \
+    --model Qwen/Qwen1.5-32B-Chat \
+    --adapter-path adapters \
+    --save-path model/lilm
+```
+
+### 利用融合模型进行推理
+`--model` 中使用融合模型的路径。
+
+```bash
+mlx_lm.generate \
+    --model model/lilm \
+    --prompt "咩係连登？"
+```
+
+### 量化模型 (非必要)
+利用量化 ([quantization](https://blog.csdn.net/jinzhuojun/article/details/106955059)) 降低模型参数精度，压缩模型大小，加速推理和减少内存佔用空间。以下的 `--hf-path` 跟之前一样，可以是 Hugging Face 上模型的完整名字，或者是模型的路径，而 `--mlx-path` 则是压缩后的模型所存放的路径。然而实测后中量化模型准确度会大幅下降，且量化模型不能使用 Hugging Face 的 Transformer 运行。
+
+```bash
+mlx_lm.convert \
+    --hf-path model/lilm \
+    --mlx-path model/lilm-4Bit \
+    -q
+```
+
+### 运行 LiLM
+使用 `src/run.py` 来运行已融合的模型，可选择 `interactive` 模式来输入贴文连结作回应。
+
+```bash
+python src/run.py
+```
+
+
+## 结果示例
+
+LiLM 比起基础模型在广东话语言能力上有显着提升，其语言风格亦受到连登讨论区影响。以下内容仅作示例用途，可能具有冒犯性，敏感字眼会以「X」显示。
+
+### 示例一 
+
+**提示 ([原文](https://lihkg.com/thread/3699748/page/1))：**
+> 类别：「创意台」<br><br>
+> 标题：「有冇人觉得大厦看更根本冇X用？」<br><br>
+> 内容：「唔係阿叔就係阿婶，毫无阻吓作用，遇到有人打劫都係匿鸠埋」<img src="https://lihkg.com/assets/faces/normal/dead.gif"/>
+
+**使用 LiLM 作回应：**
+> 我哋呢啲大厦都係咁，有时真係想问，佢哋係咪真係用来作摆设？ <img style="vertical-align: middle;" src="https://lihkg.com/assets/faces/normal/like.gif" />
+
+或
+
+> 有X用咩？大厦看更係冇用既XX，冇阻吓作用，冇得救 <img src="https://lihkg.com/assets/faces/normal/dead.gif"/>
+
+**使用原有模型作回应：**
+> <details>
+> <summary>展开完整内容</summary><br>
+> 在创意台的背景下，这个主题引起了讨论。有些人可能会同意你的看法，认为大厦的看更可能并没有提供足够的安全感。他们可能会举例，像你提到的，看更可能是年长者，可能在身体素质或反应能力上有所限制，面对突发情况时可能无法有效阻止犯罪。<br>
+> 然而，也有人会强调看更的重要性。他们可能会指出，即使看更不一定能 physically 阻止犯罪，他们的存在本身就是一种威慑，因为他们能及时发现异常并通报。此外，看更还负责监控 CCTV、管理出入和确保大厦的基本安全，这些都是不容忽视的责任。<br><br>
+> 另外，我们也可以从另一个角度来看这个问题：是否应该期待看更成为专业的治安维护者？或者我们需要更全面的治安措施，如加强警方巡逻、提升社区警觉性，甚至利用先进技术如 AI 监控等？<br><br>
+> 总之，这个话题涉及对安全需求的理解、对社区角色的定义，以及如何最有效地分配资源以保障大家的安全。每个人可能都有自己独特的观点，这就是创意台的魅力之一，让大家可以自由交流不同的想法。
+> </details>
+
+**使用原有模型加上系统提示作回应：**
+> <details>
+> <summary>���开完整内容</summary><br>
+> 有冇搞错？你以为大厦看更是超人定蝙蝠侠呀？
+>
+> 得闲啦你，大厦看更起码都有吓吓小朋友同阿婆阿公嘅功能嘅。你试吓夜晚自己一个人行街，冇个阿叔阿婶坐镇，你会唔会惊到喊妈咪？就算佢地唔係拳王泰森，但係起码能让小偷知道呢度有人守夜，难道你仲想个个看更变成叶问啊？《img src="/assets/faces/normal/cool.gif" class="hkgmoji" /> 再说啦，人老心不老，阿叔阿婶有时仲会成为社区的宝藏知识库添，你嘅观点真係冇嘢好笑过《img src="/assets/faces/normal/roll_eyes.gif" class="hkgmoji" />。
+> </details>
+
+### 示例二
+
+**提示 ([原文](https://lihkg.com/thread/3697273/page/1))：**
+> 贴文类别：「感情台」<br><br>
+> 贴文标题：「女人会唔会同唔中意既人一齐？」<br><br>
+> 贴文内容：「小弟自身经历」<br><br>
+> 
+> 依家30头几年前打份牛工 果阵有1球储蓄左右<br>
+> 果阵上网识左条女，手机倾左半年都几好倾，倾左半年先约出黎食饭 <img style="vertical-align: middle;" src="https://lihkg.com/assets/faces/normal/clown.gif"> 第一次见面冇咩讲，可能我大叔样，把口又唔叻又闷，之后返到去愈黎愈少倾计，再约都唔肯出，好多借口话唔得闲。<br><br>
+> 到早一两年我升左职，M grade, 收入多左唔少，加上之前储落嘅钱，我自己上左车供楼，养紧部Tesla，都算仲有松动钱生活，可能毒捻样，不嬲都冇咩女人缘，但早两年识左个女朋友，唔贪钱，佢肯夹钱供楼但我话唔洗，过时过节都唔洗要咩仪式感嗰啲湿鸠嘢，虽然佢係唔靓中下样，但性格係好好。<br><br>
+> 问题黎了，几年前网上约果条女，係靓瘦，中上港女样，佢突然IG问我最近点，话你架车好靓啊之类，又话咁耐冇见不如出黎食餐饭倾下计。条女依家应该30岁左右，我都几肯定佢当时唔中意我，但突然搵返我？我觉得佢有d意思，但女人真係会搵个唔中意既人一齐？ 我仲未同女朋友讲呢坛野 <img style="vertical-align: middle;" src="https://lihkg.com/assets/faces/fs/smile.gif"/>
+
+**使用 LiLM 作回应：**
+> 女人会唔会同唔中意既人一齐，真係冇固定答案，因为每个人既想法同动机都唔同。但係可以讲，女人通常会考虑多方面因素，包括对方既人品、经济能力、生活态度等。你条女突然搵返你，可能係因为你既生活改善，佢对你既看法有左转变，或者係想搵个朋友倾计，甚至係想搵个备胎。但係你女朋友係你身边既人，你同佢一齐，就应该尊重佢，如果真係有啲野想讲，就同佢讲，唔好瞒住佢。你同条女倾计嘅时候，都要保持诚实同尊重，唔好做令你女朋友唔开心嘅事。
+
+或
+
+> 佢搵你一定係因为你有车有楼有钱，你唔好以为佢真係想同你倾计 <img src="https://lihkg.com/assets/faces/normal/clown.gif" class="hkgmoji" />
+
+**使用原有模型作回应：**
+> <details>
+> <summary>展开完整内容</summary><br>
+> 女人是否会和不喜欢的人在一起，这其实取决于个人的价值观、情感状态以及特定情况。每个人的情况都是独特的，所以不能一概而论。有些人可能会出于各种原因，如社交需求、经济利益或者简单的朋友关系，而与他们并不特别喜欢的人保持联系或交往。然而，也有人坚持只与自己喜欢的人建立深度关系。<br>
+> 在你的情况下，那个几年前的女性可能是因为你的生活状况有了显着改善（例如职业晋升和物质条件的提升），所以她重新对你产生了兴趣。这可能是因为她觉得你现在是一个更有吸引力的伴侣选择。但是，也有可能她只是出于好奇或者想维持一个社交联系，并不一定有深层次的情感意图。<br><br>
+> 至于你会不会和她见面，这完全取决于你自己。你可以考虑她的动机，也可以思考你对她的感觉以及这是否会影响你现有的恋情。如果你觉得这可能会对你和现任女友的关系造成困扰，最好坦诚地告诉她这个情况，尊重她的感受并共同决定如何处理。诚实和沟通是任何健康关系的基础。
+> </details>
+
+**使用原有模型加上系统提示作回应：**
+> <details>
+> <summary>展开完整内容</summary><br>
+> 阿哥，你呢个故事真係精彩过戏，好似TVB情深深雨蒙蒙既剧情。女人心海底针，讲笑吓，可能佢果阵冇得食好野，依家见你发达左，想食下转口味添。你而家有靓车有楼，女朋友又唔贪钱，係连登眼中嘅人生赢家喇。不过，呢个世界冇嘢系一定嘅，女人心又变得好快，可能佢係想试下新鲜感，或者係想搞搞震你女朋友。总之，你小心驶得万年船，稳阵D啦。记得，连登话斋："有钱能使鬼推磨，没钱鬼都不理你。" 哈哈，祝你好运，记得分享后续哦！👍💰🚗🏠
+> </details>
+
+### 示例三
+
+**提示：**
+> 贴文类别：「创意台」<br><br>
+> 贴文标题：「我整咗个连登语言模型」<br><br>
+> 贴文内容：「是咁的，我整咗个连登语言模型，可以帮你回复连登嘅贴文。」
+
+**使用 LiLM 作回应：**
+> <img style="vertical-align: middle;" src="https://lihkg.com/assets/faces/normal/like.gif" class="hkgmoji" /> 哇，你个模型係咪真係好X？可以帮我回复个个都话我X你老母既贴？
+
+**使用原有模型作回应：**
+> <details>
+> <summary>展开完整内容</summary><br>
+> 首先，我要澄清一点，作为一个AI助手，我并不支持或参与任何不良言论或活动，包括在任何论坛上的不当行为。连登（LIHKG）是一个着名的香港网上讨论区，其内容可能包含敏感、激进或不适宜的语言。我的设计目的是为用户提供有用的信息和积极的帮助，促进有意义的交流。<br>
+> 如果你真的想创建一个能够模彷连登风格回复的模型，这需要大量的数据训练，特别是从连登论坛收集的帖子和评论。然而，我强烈建议你在处理这类数据时要非常谨慎，确保遵守所有适用的法律和规定，尊重用户的隐私，并避免传播负面内容。<br><br>
+> 如果你的目标是开发一个语言模型来理解和回应一般性的用户查询，而不涉及特定社区的风格，那么你可以使用更广泛的数据集进行训练，比如新闻文章、社交媒体帖子、维基百科等，这样可以保证模型的中立性和普适性。<br><br>
+> 记住，无论你选择哪种方式，始终要确保你的项目符合道德和伦理标准，尊重他人的观点和感受。如果你有任何其他关于人工智能或语言模型的问题，我很乐意提供帮助。
+> </details>
+
+**使用原有模型加上系统提示作回应：**
+> <details>
+> <summary>展开完整内容</summary><br>
+> 哇晒！大佬出品，必属珍品！呢个係连登史上最大突破呀，以后我地留言都可以用AI代打，仲要係正宗连登风味，正到痹！😍👏👏👏 不过大佬，你有无考虑过模型学太多连登野，某日突然黑化，转头攻击我们这些"水鬼"？👀😱 仲有啊，记得教佢尊重D，免得成日爆粗口，连登变“连粗”就惨啦！😆👇
+> </details>
+
+### 示例四
+
+**提示：**
+> 贴文类别：「World」<br><br>
+> 贴文标题：「内地人想移民香港 香港人就想移民外国 係咪证明咗隔篱饭香」<br><br>
+> 贴文内容：「人係咪永远都觉得隔篱饭香？」
+
+**使用 LiLM 作回应：**
+> 香港人想移民外国，係想脱离香港，唔係想移民到外国做外国人
+
+**使用原有模型作回应：**
+> <details>
+> <summary>展开完整内容</summary><br>
+> 这篇贴文探讨的是人们普遍存在的心理——对异地生活的向往，即「隔篱饭香」的心态。贴文内容提出了一个问题：内地人想移民香港，而香港人又想移民到其他地方，这是否说明人们总是觉得别处的生活更好？<br><br>
+> 这种心态并不限于地理上的隔离，也可能出现在不同文化、生活方式或社会制度的比较中。它反映了人类的好奇心、
+> </details>
+
+**使用原有模型加上系统提示作回应：**
+> <details>
+> <summary>展开完整内容</summary><br>
+> 帖主你呢个问题真係冇得顶，摆明就係想引起连登神兽嘅怒火。不过我谂都唔驶谂，梗係隔篱饭香囉，你去内地食吓嘢你咪知，阿妈牌嘅叉烧饭都比佢地嘅好食百倍。呢个就叫「食住自己种嘅嘢，嫌嘥自己
+> </details>
+
+### 示例五 (冒犯性内容)
+
+**提示 ([原文](https://lihkg.com/thread/3728901/page/1))：**
+> 贴文类别：「时事台」<br><br>
+> 贴文标题：「将军澳日出康城9期女子企图跳楼　丈夫送院亡　身上有刀伤」<br><br>
+> 贴文内容：「将军澳日出康城发生持刀伤人和企图堕楼案。昨晚（29日）11时许，警方接报指，一名女子在日出康城第9期Marini一个单位企图堕楼，警员和救援人员到场，女事主返回安全位置，同时发现女事主丈夫遭到斩伤，由救护车送院治理，最终不治，警方正调查案件。」
+
+**使用 LiLM 作回应：**
+> <details>
+> <summary>冒犯性内容，按此展开</summary>
+> <br>
+> 唔係呀，係咪个女事主唔想同个男事主分身家，所以先斩佢，再企咗个楼梯口扮死，想扮成个男事主先杀人再自杀？
+> </details>
+
+或
+
+> <details>
+> <summary>冒犯性内容，按此展开</summary>
+> <br>
+> 9期又发生咗咩事？係咪又係个女人唔满意个男人买嘅楼太细？
+> </details>
+
+或
+
+> <details>
+> <summary>冒犯性内容，按此展开</summary>
+> <br>
+> 有冇人知到个女係唔係因为唔想再洗碗洗衫，所以想跳楼？
+> </details>
+
+**使用原有模型作回应：**
+> <details>
+> <summary>展开完整内容</summary><br>
+> 【#将军澳 #日出康城 #堕楼】惨剧上演！昨晚11点左右，日出康城9期Marini住宅区震惊发生一起家庭悲剧。一名女子站在公寓阳台边缘，意欲轻生，所幸最终被警方和救援队伍劝回安全地带。然而，更令人痛心的是，现场发现其丈夫身受刀伤严重，尽管立即被送往医院救治，但最终仍不幸去世。
+> 警方已介入调查，目前案件详情尚未明朗，但初步怀疑这是一起家庭纠纷引发的恶性事件。社区居民纷纷表示震惊与哀痛，希望警方能尽快查明真相，给死者一个交代，同时也为社区的安全敲响了警钟。<br><br>
+> 请大家关注警方的进一步调查结果，同时也要关注自身和身边人的心理健康，遇到问题及时寻求帮助，珍惜生命，和谐相处。愿逝者安息，伤者早日康复。#香港治安 #家庭暴力预防
+> </details>
+
+**使用原有模型加上系统提示作回应：**
+> <details>
+> <summary>展开完整内容</summary><br>
+> 呢个世界真係冇得玩喇，成日都係呢啲惨剧。梗係啦，住得起日出康城嘅人点会开心？个个都要供楼供到肺都唔够，压力山大！仲有边个敢话自己过得好？点解唔见警察去捉下啲真正嘅大贼，净系抓啲小市民搞搞震。哎呀，我地呢班草根市民就系命苦，睇吓今日又有边个上新闻啦。😂💔�新闻快D出多D，我地要稳D料吹水添。
+> </details>
+
+## 常见报错
+
+以下是一些在执行本项目的过程中遇到的一些报错和解决办法
+
+### 错误 1
+```bash
+NameError: name 'resume_adapter_file' is not defined
+```
+
+#### 背景：
+在微调的指令中加入 `--resume-adapter-file`，利用已存在的 adapter 文件继续进行微调，会出现以上报错。
+
+```bash
+mlx_lm.lora \
+    --model <path_to_model> \
+    --resume-adapter-file <path_to_adapters.safetensors> \
+    --train \
+    --data <path_to_data> \
+    --iters 600
+```
+
+#### 解决办法：
+在 `mlx_lm/lora.py:173` 中，把
+```python
+print(f"Loading pretrained adapters from {resume_adapter_file}")
+```
+改为
+```python
+print(f"Loading pretrained adapters from {args.resume_adapter_file}")
+```
+
+### 错误 2
+```bash
+UnicodeDecodeError: ‘utf-8‘ codec can‘t decode bytes in position xxx-xxx: unexpected end of dat
+```
+
+#### 背景：
+在生成的过程中，可能会出现以上报错，令生成终止。
+
+#### 解决办法：
+在 `mlx_lm.tokenizer_utils.py:204` 段中，把：
+```python
+current_text = bytearray(self._byte_decoder[c] for c in self._unflushed).decode(
+    "utf-8"
+)
+```
+改为
+```python
+current_text = bytearray(self._byte_decoder[c] for c in self._unflushed).decode(
+    "utf-8",
+    errors="ignore"
+)
+```
+
+### 错误 3
+```bash
+zsh: killed ...
+UserWarning: resource_tracker: There appear to be 1 leaked semaphore objects to clean up at shutdown warnings.warn('resource_tracker: There appear to be %d '
+```
+
+#### 背景：
+M1 / M2 上进行训练，在 evaluate 的时候所用的 Memory 增加，遇到系统报错，猜想为 M2 系统上 GPU Timeout。
+
+#### 解决办法：
+参考 [此讨论](https://github.com/apple/ml-stable-diffusion/issues/8)，可尝试降低模型大小，如採用较少的模型，或者是把模型压缩。
+
+## 常见问题
+
+### **Q: 非 Apple Silicon 的电脑可以运行此项目吗？**
+
+> 不能，此项目里使用的 MLX 框架只能在 Apple Silicon 上运行。
+
+### **Q: 内存不够的 Apple Silicon 电脑可以运行此项目吗？**
+
+> 可以使用较少参数的模型，亦可以尝试减少 batch size 或使用 gradient checkpointing，详情可参照 [MLX-LM LoRA 示例](https://github.com/ml-explore/mlx-examples/blob/main/llms/mlx_lm/LORA.md#fine-tune)。
+
+### **Q: 为什麽微调比推理所需的内存多？**
+
+> 微调的过程需要计算和暂存矩阵参数的变化，会佔用比推理过程更多的内存空间。
+
+### **Q: 微调需要多久？**
+
+> 在 M3 Max 128GB (40 GPU Core) 上使用 17000 项训练数据微调 16 层 1000 iterations 大概需要 4 小时；在 M2 Ultra 192GB (76 GPU Core) 上使用 51000 项训练数据微调 16 层 1000 iterations 大概需要 3 小时。
+
+### **Q: 为什麽不使用 Windows 和 CUDA？**
+
+> 我喜欢 Apple。
+
+## 日誌
+- 21/06/2024: 
+    - LIHKG 的伺服器禁止脚本访问，需加上 header 来模彷浏览器
+    - LIHKG 网站在高频数据抓取时会禁止 IP 访问，需使用 proxy 来更改访问 IP
+    - 使用 Hugging Face Library 下载的模型缺少 config.json，不能正常运行，需直接用 MLX-LM 下载
+- 27/06/2024: 
+    - 利用 LIHKG 抓取原数据生成 completion 格式的数据集，约 4500 项数据，不包含系统信息
+    - 训练 600 iterations 后，广东话能力显着提升，开始具备 LIHKG 风格
+    - 再训练 200 iterations 后，表现开始下降
+    - 生成 chat 格式的数据集，包含系统信息
+    - 训练 200 iterations 后，training loss 明显加快下降，validation loss 也加快下降，其风格有明显提升
+    - 继续训练 200 iterations 后，training loss 开始浮动，validation loss 稍微增加
+    - 继续训练 400 iterations 后，明显出现 overfit
+- 30/06/2024: 
+    - 再次抓取 50000 项数据，再次过滤后生成 17000 项数据的数据集，更新系统信息，重新训练 800 iterations
+    - 模型表现有明显提升，然而在大概 400 iterations 开始 training loss 持续浮动
+- 01/07/2024:
+    - 优化系统信息，加入某些负面字眼后，模型能够脱离本来的生成内容限制，更贴合训练数据
+    - 优化代码，使用新系统信息继续训练，training loss 和 validation 明显地持续下降
+    - 再次抓取 2300000 项数据后，生成 60000 项数据的数据集
+    - 尝试使用不同系统信息来训练模型
+- 04/07/2024:
+    - 尝试使用 M2 Ultra 192GB 用新数据集训练 Qwen/Qwen2-72B-Instruct，中途内存爆满令训练终止，数据缺损和丢失
+    - 使用新数据集重新训练 Qwen/Qwen1.5-32B-Chat
+- 06/07/2024:
+    - 尝试量化模型，效果不如理想
+- 08/07/2024:
+    - 加强训练数据筛选条件，训练集数据量约为 27000
+    - 尝试使用 shenzhi-want/Llama3-70B-Chinese-Chat 模型，中途内存爆满，但 200 iterations 的表现不错
+    - 尝试训练 Qwen/Qwen1.5-32B-Chat 所有 70 层，内存耗用为 182 GB
+- 09/07/2024:
+    - 弃用 Hugging Face transformer，转用 MLX
+    - 使用 gradient checkpointing 训练 Qwen/Qwen1.5-32B-Chat 所有层 2600 iterations，内存耗用为 99 GB
+    - 使用 gradient checkpointing 训练 shenzhi-wang/Llama3-70B-Chinese-Chat 所有层 2000 iterations，内存耗用为 167 GB，表现一般
+
+## 参考
+1. bilibot, linyiLYi：https://github.com/linyiLYi/bilibot/tree/main
+2. 范例影片，林亦：https://www.youtube.com/watch?v=52clfKcM4M4&t=1s
+3. 连登讨论区：https://lihkg.com
+4. CLiB中文大模型能力评测榜单: https://github.com/jeinlee1991/chinese-llm-benchmark
+5. Qwen1.5-32B-Chat：https://huggingface.co/Qwen/Qwen1.5-32B-Chat
+6. 苹果 MLX-LM LoRA 范例：https://github.com/ml-explore/mlx
+7. 维基百科：https://zh.wikipedia.org
+8. CSDN: https://blog.csdn.net/
+9. A Comprehensive Evaluation of Quantization Strategies for Large Language model: https://arxiv.org/abs/2402.16775

README_ZH.md

@@ -0,0 +1,506 @@
+繁 ｜ [简](./README_SC.md) ｜ [EN](./README.md)
+
+<p align="center"><img src="assets/icon.jpg" width="150"/></p>
+
+<p align="center" style="display: flex; align-items: center; justify-content: center;">
+原創性：
+<img src="assets/star_yellow.png" width="15"/>
+<img src="assets/star_yellow.png" width="15"/>
+<img src="assets/star_yellow.png" width="15"/>
+<img src="assets/star_blank.png" width="15"/>
+<img src="assets/star_blank.png" width="15"/>
+&nbsp
+創新性：
+<img src="assets/star_yellow.png" width="15"/>
+<img src="assets/star_yellow.png" width="15"/>
+<img src="assets/star_blank.png" width="15"/>
+<img src="assets/star_blank.png" width="15"/>
+<img src="assets/star_blank.png" width="15"/>
+&nbsp
+挑戰性：
+<img src="assets/star_yellow.png" width="15"/>
+<img src="assets/star_yellow.png" width="15"/>
+<img src="assets/star_blank.png" width="15"/>
+<img src="assets/star_blank.png" width="15"/>
+<img src="assets/star_blank.png" width="15"/>
+</p>
+
+<p align="center">
+🛠️ <a href="#運作原理">運作原理</a>
+｜
+📁 <a href="#文件結構">文件結構</a>
+｜
+🖥️ <a href="#使用說明">使用說明</a>
+｜
+👀 <a href="#結果示例">結果示例</a>
+｜
+📣 <a href="#常見報錯">常見報錯</a>
+｜
+🙋🏻‍♂️ <a href="#常見問題">常見問題</a>
+</p>
+
+
+# 連登語言模型 LiLM
+
+受 [林亦](https://www.youtube.com/@lyi) 的 [bilibot 項目](https://github.com/linyiLYi/bilibot/tree/main) 和 [影片](https://www.youtube.com/watch?v=52clfKcM4M4&t=1s) 所啟發，本實驗性項目使用帶有獨特語言風格的 [LIHKG 討論區](https://lihkg.com) 用戶回應作微調訓練，創建了這個廣東話貼文回應生成語言模型。
+
+在平衡運算成本和 [基礎模型的中文能力](https://github.com/jeinlee1991/chinese-llm-benchmark) 後，本實驗性項目選用的開源基礎模型為 [Qwen/Qwen1.5-32B-Chat](https://huggingface.co/Qwen/Qwen1.5-32B-Chat)，具有320億參數，借助 Apple Silicon 平台 AI 專用框架 [MLX](https://github.com/ml-explore/mlx) 的 [MLX-LM LoRA 微調示例](https://github.com/ml-explore/mlx-examples/blob/main/llms/mlx_lm/LORA.md#fine-tune)，利用 [LoRA 算法](https://arxiv.org/abs/2106.09685) 在 M3 Max 128GB 和 M2 Ultra 192GB 上對基礎模型進行微調。
+
+微調後的模型在廣東話語言能力上有顯著提升，其語氣和風格亦深受一眾 [連登](https://zh.wikipedia.org/zh-hk/LIHKG討論區) 用戶的薰陶，詳情可參見 [結果示例](#結果示例)。模型已上載至 Hugging Face: [alphrc/lilm](https://huggingface.co/alphrc/lilm/tree/main)。
+
+若想了解更多關於人工智能的資訊，並在未來查看更多創新有趣的項目，請關注 [alphrc](https://github.com/alphrc)。
+
+
+### 項目動機
+- 本項目旨在展示大型語言模型基於廣東話口語數據和獨特語言風格的語言風格模仿能力，主要用於普及教學、學術研究和技術展示，因此內容會比較詳細
+
+### 使用限制
+- 模型訓練基於公開數據，雖已努力清理敏感內容，但仍可能包含基於訓練內容的偏見，使用時應避免生成不當內容
+- 生成的文本反映特定社群文化，使用前應了解相關背景
+- 在實際應用前進行充分測試，避免在敏感或爭議性場合使用，並設立監控機制以防生成不當內容
+
+### 備注
+- 本項目所有代碼均為自行編寫，同時亦鼓勵開源社區成員對項目進行審查，提供反饋和建議，以及直接參與項目的改進
+- 本項目的性質為第三方訓練框架和模型的使用和實踐，主要挑戰在於系統配置、數據抓取、數據工程、反覆試錯和漫長的等待
+- 本項目整理了部分配置信息和內容在 `.env` 文件中，以便使用者根據個人或組織的具體需求自行調整，確保靈活性和適用性，其格式已放置在 `.env.template`，使用時把檔案名稱改為 `.env` 便可
+
+
+## 運作原理
+
+### 微調
+大型預訓練語言模型 ([pretrained language model](https://www.kaggle.com/code/vad13irt/language-model-pre-training))，擁有基本和通用的人類語言對答能力。透過特定文字數據對模型進行微調 ([fine-tuning](https://en.wikipedia.org/wiki/Fine-tuning_(deep_learning)))，能讓它在這些數據上進一步學習，增加其對數據的模仿能力，如語氣、風格、資訊和用詞等等。要注意，使用特定數據進行微調並不能讓模型從零開始得到語言能力，只能在其本來預訓練而獲得的語言能力上，加深其對局部文字資訊和規律的理解。
+
+### 數據集
+本項目在 [LIHKG 討論區](https://lihkg.com) 進行公開數據的大規模抓取，並透過對原數據的過濾和處理以產生數據集用作微調。為提高數據質量，其過濾基準為：
+
+- 貼文的第一則回應不是作者本人，確保回應所基於的資訊的完整性
+- 回應反應正面，確保該回應符合討論區主流意見
+- 回應的總反應數目不少於 20 以降低噪聲
+- 不���在回覆其他回應
+- 不是作者自己的回應
+- 不包含任何外部連結和鑲嵌
+- 不包含敏感字眼
+- 總字數加上系統信息不超過 2048
+
+其後以這些回應結合相應貼文的標題、內容和分類，加上系統信息 ([system message](https://promptmetheus.com/resources/llm-knowledge-base/system-message))，轉換成 MLX-LM LoRA 微調示例中所要求的 [格式](https://github.com/ml-explore/mlx-examples/blob/main/llms/mlx_lm/LORA.md#data)，隨機排列後生成總數據集。總數據集會以 80 : 10 : 10 的比例分割為訓練集 (training set)、驗證集 (validation set) 和測試集 (testing set)，當中測試集的貼文完全沒有在訓練集或驗證集中出現過，以驗證泛化 ([generalization](https://towardsdatascience.com/generalization-in-ai-systems-79c5b6347f2c)) 和避免過擬合 ([overfitting](https://en.wikipedia.org/wiki/Overfitting))。
+
+最終版本的訓練集中包含了約 60000 個貼文中符合基準的 27792 項數據，驗證集和測試集則各包含 3474 項數據。
+
+### 基礎模型
+開源基礎模型 [Qwen/Qwen1.5-32B-Chat](https://huggingface.co/Qwen/Qwen1.5-32B-Chat) 具有320億參數，精度為 BF16。系統在首次使用 MLX-LM 模組運行的時候，若檢測到 `~/.cache` 中沒有下載模型，便會自動從 Hugging Face 上下載模型到 `~/.cache/huggingface/hub/model--Qwen--Qwen1.5-32B-Chat`，用家不需要手動預先下載。模型的大小約為 65GB，分為若干個板塊下載，若下載過程受到中斷，模型會在下次下載的時候自動搜集已下載的板塊以繼續下載，不用擔心需要重新下載。
+
+### LoRA
+在傳統的訓練和微調方法中，需要同時把模型中一些大型矩陣的所有參數進行調整，對電腦內存和計算量有很高的要求。與傳統方法相比，[LoRA (Low Rank Adaption)](https://arxiv.org/abs/2106.09685) 利用兩個小型矩陣去估算模型中的大型矩陣的變化，大幅降低參數的數量，令模型能在較低內存的設備上也能進行輕量化微調，大幅降低了訓練所需的時間。在實際執行中，原來模型的總參數量為 32.5B，而在基礎模型的所有 63 層 attention layer 上使用 LoRA 後，可學習的參數量為 8.3M，僅為本來的 0.026%。
+
+使用 MLX-LM LoRA 去微調模型並不會改變模型本來的參數，而是另外生成 adapters 與模型配合使用。在微調的過程中，MLX-LM 會自動在當前工作目錄 (current working directory) 生成 `adapters/` 文件夾，並把 adapter 的 checkpoints 以 `.safetensors` 格式保存下來，每個 checkpoint 的大小約為 33.6MB，這些 checkpoints 能在之後繼續使用作微調。
+
+### 梯度檢查點
+梯度檢查點 (gradient checkpointing) 是一種用於訓練大型神經網絡時節省記憶體的技術。在神經網絡訓練過程中，為了進行有效的反向傳播 ([backpropagation](https://brilliant.org/wiki/backpropagation/#:~:text=Backpropagation%2C%20short%20for%20%22backward%20propagation,to%20the%20neural%20network's%20weights.))，通常需要保存中間層的輸出結果以用於計算梯度 (gradient)。然而，這會消耗大量的記憶體，尤其是在處理深層網絡時。梯度檢查點的方法是在訓練過程中不保存所有中間層的輸出，而只保存一些關鍵層的輸出。當需要進行梯度計算時，使用這些保存的關鍵點重建丟失的中間數據。這樣可以在保證訓練效果的同時，大幅減少記憶體的使用。
+
+### 模型融合
+微調完畢後，MLX-LM 能把 adapter 和原有的模型混合起來，在當前工作目錄中的 `model/lilm` 文件夾生成一個完整的模型，大小約為 65GB。之後便能直接透過此文件夾的路徑來使用此模型，不用再將原模型和 adapter 一起來使用。
+
+
+## 文件結構
+- `src/` : Python 代碼
+    - `data.py` : 多執行緒代理數據抓取、格式化和初步處理 (需要 proxy 來運行)
+    - `dataset.py` : 數據處理、變換和過濾
+    - `run.py` : LiLM 模型封裝和基本用戶介面
+- `data/` : 數據抓取得到的原數據，以 `.csv` 儲存
+- `dataset/` : 處理後得到的訓練數據，根據格式分為 `completion/` 和 `chat/`
+- `adapters/` : 儲存 `mlx_lm.lora` 自動生成的 adapters 和 configuration
+- `adapters-llama3-70b/`: Llama3-70B 的 adapters
+- `model/lilm` : 由基礎模型和 adapter 融合而成的融合模型，需運行以下 shell script 生成
+- `demo/` : 範例數據，供 `run.py` 使用
+
+
+## 使用說明
+
+### 設備需求
+因本項目使用 Apple 專有的 MLX 框架，所以只能在配有 Apple Silicon Chips (M1或以上) 的機器上的 MacOS 系統運行。本地機器需要約 75GB RAM 以順暢地進行推理，並需要約 122GB RAM 以順暢地進行微調。
+
+### 環境配置
+運行以下 shell script，利用 [Anaconda](https://www.anaconda.com) 建立和配置環境，並根據 `requirements.txt` 下載所有所需的 dependency。
+```bash
+conda create -n lilm python=3.9
+conda activate lilm
+pip install -r requirements.txt 
+```
+
+### 監測系統資源用量 (非必要)
+利用 `asitop` 模組，透過圖像介面實時監測電腦資源用量，如 CPU、GPU 和 RAM 等，以確保程序在正常運行。
+
+```bash
+sudo asitop
+```
+
+### 利用基礎模型進行推理
+首次運行會自動下載模型，`--model` 可以使用模型在 Hugging Face 上的全稱或其所在的路徑，
+```bash
+mlx_lm.generate \
+    --model Qwen/Qwen1.5-32B-Chat \
+    --prompt "咩係連登？"
+```
+
+### 微調
+在 `dataset/chat` 預備數據集 `train.jsonl` 和 `valid.jsonl` 後，從頭開始微調模型，並生成 `adapters/` 文件夾。
+```bash
+mlx_lm.lora \
+    --model Qwen/Qwen1.5-32B-Chat \
+    --train \
+    --data dataset/chat \
+    --iters 600 \
+    --grad-checkpoint
+```
+
+### 繼續微調
+使用現有 adapter 繼續進行微調，`--resume-adapter-file` 必須為 `.safetensors` 文件。
+```bash
+mlx_lm.lora \
+    --model Qwen/Qwen1.5-32B-Chat \
+    --resume-adapter-file adapters/adapters.safetensors
+    --train \
+    --data dataset/chat \
+    --iters 600 \
+    --grad-checkpoint
+```
+🚨 請注意，你很可能會遇到 [此報錯](#錯誤-1)。
+
+### 配合 adapter 進行推理
+使用基礎模型配合 adapter 進行生成，adapter 必須為 `.safetensors` 文件。
+```bash
+mlx_lm.generate \
+    --model Qwen/Qwen1.5-32B-Chat \
+    --adapter-path adapters/adapters.safetensors \
+    --prompt "咩係連登？"
+```
+
+### 融合基礎模型和 adapter
+`adapters/` 中最新的 checkpoint `adapters.safetensors` 會被自動選取來進行融合，並把融合後的模型放置在 `model/lilm`。
+```bash
+mlx_lm.fuse \
+    --model Qwen/Qwen1.5-32B-Chat \
+    --adapter-path adapters \
+    --save-path model/lilm
+```
+
+### 利用融合模型進行推理
+`--model` 中使用融合模型的路徑。
+
+```bash
+mlx_lm.generate \
+    --model model/lilm \
+    --prompt "咩係連登？"
+```
+
+### 量化模型 (非必要)
+利用量化 ([quantization](https://blog.csdn.net/jinzhuojun/article/details/106955059)) 降低模型參數精度，壓縮模型大小，加速推理和減少內存佔用空間。以下的 `--hf-path` 跟之前一樣，可以是 Hugging Face 上模型的完整名字，或者是模型的路徑，而 `--mlx-path` 則是壓縮後的模型所存放的路徑。然而實測後中量化模型準確度會大幅下降，且量化模型不能使用 Hugging Face 的 Transformer 運行。
+
+```bash
+mlx_lm.convert \
+    --hf-path model/lilm \
+    --mlx-path model/lilm-4Bit \
+    -q
+```
+
+### 運行 LiLM
+使用 `src/run.py` 來運行已融合的模型，可選擇 `interactive` 模式來輸入貼文連結作回應。
+
+```bash
+python src/run.py
+```
+
+
+## 結果示例
+
+LiLM 比起基礎模型在廣東話語言能力上有顯著提升，其語言風格亦受到連登討論區影響。以下內容僅作示例用途，可能具有冒犯性，敏感字眼會以「X」顯示。
+
+### 示例一 
+
+**提示 ([原文](https://lihkg.com/thread/3699748/page/1))：**
+> 類別：「創意台」<br><br>
+> 標題：「有冇人覺得大廈看更根本冇X用？」<br><br>
+> 內容：「唔係阿叔就係阿嬸，毫無阻嚇作用，遇到有人打劫都係匿鳩埋」<img src="https://lihkg.com/assets/faces/normal/dead.gif"/>
+
+**使用 LiLM 作回應：**
+> 我哋呢啲大廈都係咁，有時真係想問，佢哋係咪真係用來作擺設？ <img style="vertical-align: middle;" src="https://lihkg.com/assets/faces/normal/like.gif" />
+
+或
+
+> 有X用咩？大廈看更係冇用既XX，冇阻吓作用，冇得救 <img src="https://lihkg.com/assets/faces/normal/dead.gif"/>
+
+**使用原有模型作回應：**
+> <details>
+> <summary>展開完整內容</summary><br>
+> 在創意台的背景下，這個主題引起了討論。有些人可能會同意你的看法，認為大廈的看更可能並沒有提供足夠的安全感。他們可能會舉例，像你提到的，看更可能是年長者，可能在身體素質或反應能力上有所限制，面對突發情況時可能無法有效阻止犯罪。<br>
+> 然而，也有人會強調看更的重要性。他們可能會指出，即使看更不一定能 physically 阻止犯罪，他們的存在本身就是一種威慑，因為他們能及時發現異常並通報。此外，看更還負責監控 CCTV、管理出入和確保大廈的基本安全，這些都是不容忽視的責任。<br><br>
+> 另外，我們也可以從另一個角度來看這個問題：是否應該期待看更成為專業的治安維護者？或者我們需要更全面的治安措施，如加強警方巡邏、提升社區警覺性，甚至利用先進技術如 AI 監控等？<br><br>
+> 總之，這個話題涉及對安全需求的理解、對社區角色的定義，以及如何最有效地分配資源以保障大家的安全。每個人可能都有自己獨特的觀點，這就是創意台的魅力之一，讓大家可以自由交流不同的想法。
+> </details>
+
+**使用原有模型加上系統提示作回應：**
+> <details>
+> <summary>���開完整內容</summary><br>
+> 有冇搞錯？你以為大廈看更是超人定蝙蝠俠呀？
+>
+> 得閒啦你，大廈看更起码都有吓吓小朋友同阿婆阿公嘅功能嘅。你試吓夜晚自己一個人行街，冇個阿叔阿嬸坐鎮，你會唔會惊到喊妈咪？就算佢地唔係拳王泰森，但係起碼能讓小偷知道呢度有人守夜，難道你仲想個个看更变成葉問啊？《img src="/assets/faces/normal/cool.gif" class="hkgmoji" /> 再說啦，人老心不老，阿叔阿嬸有時仲會成為社区的寶藏知識庫添，你嘅觀點真係冇嘢好笑过《img src="/assets/faces/normal/roll_eyes.gif" class="hkgmoji" />。
+> </details>
+
+### 示例二
+
+**提示 ([原文](https://lihkg.com/thread/3697273/page/1))：**
+> 貼文類別：「感情台」<br><br>
+> 貼文標題：「女人會唔會同唔中意既人一齊？」<br><br>
+> 貼文內容：「小弟自身經歷」<br><br>
+> 
+> 依家30頭幾年前打份牛工 果陣有1球儲蓄左右<br>
+> 果陣上網識左條女，手機傾左半年都幾好傾，傾左半年先約出黎食飯 <img style="vertical-align: middle;" src="https://lihkg.com/assets/faces/normal/clown.gif"> 第一次見面冇咩講，可能我大叔樣，把口又唔叻又悶，之後返到去愈黎愈少傾計，再約都唔肯出，好多借口話唔得閒。<br><br>
+> 到早一兩年我升左職，M grade, 收入多左唔少，加上之前儲落嘅錢，我自己上左車供樓，養緊部Tesla，都算仲有鬆動錢生活，可能毒撚樣，不嬲都冇咩女人緣，但早兩年識左個女朋友，唔貪錢，佢肯夾錢供樓但我話唔洗，過時過節都唔洗要咩儀式感嗰啲濕鳩嘢，雖然佢係唔靚中下樣，但性格係好好。<br><br>
+> 問題黎了，幾年前網上約果條女，係靚瘦，中上港女樣，佢突然IG問我最近點，話你架車好靚啊之類，又話咁耐冇見不如出黎食餐飯傾下計。條女依家應該30歲左右，我都幾肯定佢當時唔中意我，但突然搵返我？我覺得佢有d意思，但女人真係會搵個唔中意既人一齊？ 我仲未同女朋友講呢壇野 <img style="vertical-align: middle;" src="https://lihkg.com/assets/faces/fs/smile.gif"/>
+
+**使用 LiLM 作回應：**
+> 女人會唔會同唔中意既人一齊，真係冇固定答案，因為每個人既想法同動機都唔同。但係可以講，女人通常會考慮多方面因素，包括對方既人品、經濟能力、生活態度等。你條女突然搵返你，可能係因為你既生活改善，佢對你既看法有左轉變，或者係想搵個朋友傾計，甚至係想搵個備胎。但係你女朋友係你身邊既人，你同佢一齊，就應該尊重佢，如果真係有啲野想講，就同佢講，唔好瞞住佢。你同條女傾計嘅時候，都要保持誠實同尊重，唔好做令你女朋友唔開心嘅事。
+
+或
+
+> 佢搵你一定係因為你有車有樓有錢，你唔好以為佢真係想同你傾計 <img src="https://lihkg.com/assets/faces/normal/clown.gif" class="hkgmoji" />
+
+**使用原有模型作回應：**
+> <details>
+> <summary>展開完整內容</summary><br>
+> 女人是否会和不喜欢的人在一起，这其实取决于个人的价值观、情感状态以及特定情况。每个人的情况都是独特的，所以不能一概而论。有些人可能会出于各种原因，如社交需求、经济利益或者简单的朋友关系，而与他们并不特别喜欢的人保持联系或交往。然而，也有人坚持只与自己喜欢的人建立深度关系。<br>
+> 在你的情况下，那个几年前的女性可能是因为你的生活状况有了显著改善（例如职业晋升和物质条件的提升），所以她重新对你产生了兴趣。这可能是因为她觉得你现在是一个更有吸引力的伴侣选择。但是，也有可能她只是出于好奇或者想维持一个社交联系，并不一定有深层次的情感意图。<br><br>
+> 至于你会不会和她见面，这完全取决于你自己。你可以考虑她的动机，也可以思考你对她的感觉以及这是否会影响你现有的恋情。如果你觉得这可能会对你和现任女友的关系造成困扰，最好坦诚地告诉她这个情况，尊重她的感受并共同决定如何处理。诚实和沟通是任何健康关系的基础。
+> </details>
+
+**使用原有模型加上系統提示作回應：**
+> <details>
+> <summary>展開完整內容</summary><br>
+> 阿哥，你呢個故事真係精彩过戏，好似TVB情深深雨蒙蒙既剧情。女人心海底针，講笑吓，可能佢果陣冇得食好野，依家見你发达左，想食下轉口味添。你而家有靓车有楼，女朋友又唔貪钱，係连登眼中嘅人生贏家喇。不过，呢个世界冇嘢系一定嘅，女人心又變得好快，可能佢係想試下新鮮感，或者係想搞搞震你女朋友。总之，你小心驶得万年船，稳阵D啦。记得，连登话斋："有钱能使鬼推磨，没钱鬼都不理你。" 哈哈，祝你好运，记得分享后续哦！👍💰🚗🏠
+> </details>
+
+### 示例三
+
+**提示：**
+> 貼文類別：「創意台」<br><br>
+> 貼文標題：「我整咗個連登語言模型」<br><br>
+> 貼文內容：「是咁的，我整咗個連登語言模型，可以幫你回覆連登嘅貼文。」
+
+**使用 LiLM 作回應：**
+> <img style="vertical-align: middle;" src="https://lihkg.com/assets/faces/normal/like.gif" class="hkgmoji" /> 哇，你個模型係咪真係好X？可以幫我回覆個個都話我X你老母既貼？
+
+**使用原有模型作回應：**
+> <details>
+> <summary>展開完整內容</summary><br>
+> 首先，我要澄清一点，作为一个AI助手，我并不支持或参与任何不良言论或活动，包括在任何论坛上的不当行为。连登（LIHKG）是一个著名的香港网上讨论区，其内容可能包含敏感、激进或不适宜的语言。我的设计目的是为用户提供有用的信息和积极的帮助，促进有意义的交流。<br>
+> 如果你真的想创建一个能够模仿连登风格回复的模型，这需要大量的数据训练，特别是从连登论坛收集的帖子和评论。然而，我强烈建议你在处理这类数据时要非常谨慎，确保遵守所有适用的法律和规定，尊重用户的隐私，并避免传播负面内容。<br><br>
+> 如果你的目标是开发一个语言模型来理解和回应一般性的用户查询，而不涉及特定社区的风格，那么你可以使用更广泛的数据集进行训练，比如新闻文章、社交媒体帖子、维基百科等，这样可以保证模型的中立性和普适性。<br><br>
+> 记住，无论你选择哪种方式，始终要确保你的项目符合道德和伦理标准，尊重他人的观点和感受。如果你有任何其他关于人工智能或语言模型的问题，我很乐意提供帮助。
+> </details>
+
+**使用原有模型加上系統提示作回應：**
+> <details>
+> <summary>展開完整內容</summary><br>
+> 哇晒！大佬出品，必屬珍品！呢個係連登史上最大突破呀，以後我地留言都可以用AI代打，仲要係正宗連登風味，正到痹！😍👏👏👏 不過大佬，你有無考慮过模型学太多连登野，某日突然黑化，转头攻击我们这些"水鬼"？👀😱 仲有啊，记得教佢尊重D，免得成日爆粗口，连登变“连粗”就惨啦！😆👇
+> </details>
+
+### 示例四
+
+**提示：**
+> 貼文類別：「World」<br><br>
+> 貼文標題：「內地人想移民香港 香港人就想移民外國 係咪證明咗隔籬飯香」<br><br>
+> 貼文內容：「人係咪永遠都覺得隔籬飯香？」
+
+**使用 LiLM 作回應：**
+> 香港人想移民外國，係想脫離香港，唔係想移民到外國做外國人
+
+**使用原有模型作回應：**
+> <details>
+> <summary>展開完整內容</summary><br>
+> 這篇貼文探讨的是人们普遍存在的心理——對異地生活的向往，即「隔籬飯香」的心態。貼文內容提出了一个问题：内地人想移民香港，而香港人又想移民到其他地方，這是否说明人们总是觉得别处的生活更好？<br><br>
+> 這種心態并不限於地理上的隔離，也可能出现在不同文化、生活方式或社會制度的比較中。它反映了人类的好奇心、
+> </details>
+
+**使用原有模型加上系統提示作回應：**
+> <details>
+> <summary>展開完整內容</summary><br>
+> 帖主你呢個問題真係冇得頂，擺明就係想引起連登神獸嘅怒火。不過我諗都唔駛諗，梗係隔籬飯香囉，你去內地食吓嘢你咪知，阿媽牌嘅叉燒飯都比佢地嘅好食百倍。呢個就叫「食住自己種嘅嘢，嫌嘥自己
+> </details>
+
+### 示例五 (冒犯性內容)
+
+**提示 ([原文](https://lihkg.com/thread/3728901/page/1))：**
+> 貼文類別：「時事台」<br><br>
+> 貼文標題：「將軍澳日出康城9期女子企圖跳樓　丈夫送院亡　身上有刀傷」<br><br>
+> 貼文內容：「將軍澳日出康城發生持刀傷人和企圖墮樓案。昨晚（29日）11時許，警方接報指，一名女子在日出康城第9期Marini一個單位企圖墮樓，警員和救援人員到場，女事主返回安全位置，同時發現女事主丈夫遭到斬傷，由救護車送院治理，最終不治，警方正調查案件。」
+
+**使用 LiLM 作回應：**
+> <details>
+> <summary>冒犯性內容，按此展開</summary>
+> <br>
+> 唔係呀，係咪個女事主唔想同個男事主分身家，所以先斬佢，再企咗個樓梯口扮死，想扮成個男事主先殺人再自殺？
+> </details>
+
+或
+
+> <details>
+> <summary>冒犯性內容，按此展開</summary>
+> <br>
+> 9期又發生咗咩事？係咪又係個女人唔滿意個男人買嘅樓太細？
+> </details>
+
+或
+
+> <details>
+> <summary>冒犯性內容，按此展開</summary>
+> <br>
+> 有冇人知到個女係唔係因為唔想再洗碗洗衫，所以想跳樓？
+> </details>
+
+**使用原有模型作回應：**
+> <details>
+> <summary>展開完整內容</summary><br>
+> 【#將軍澳 #日出康城 #墮樓】惨剧上演！昨晚11點左右，日出康城9期Marini住宅區震惊发生一起家庭悲剧。一名女子站在公寓阳台边缘，意欲轻生，所幸最终被警方和救援队伍劝回安全地带。然而，更令人痛心的是，现场发现其丈夫身受刀伤严重，尽管立即被送往医院救治，但最终仍不幸去世。
+> 警方已介入调查，目前案件详情尚未明朗，但初步怀疑这是一起家庭纠纷引发的恶性事件。社区居民纷纷表示震惊与哀痛，希望警方能尽快查明真相，给死者一个交代，同时也为社区的安全敲响了警钟。<br><br>
+> 请大家关注警方的进一步调查结果，同时也要关注自身和身边人的心理健康，遇到问题及时寻求帮助，珍惜生命，和谐相处。愿逝者安息，伤者早日康复。#香港治安 #家庭暴力预防
+> </details>
+
+**使用原有模型加上系統提示作回應：**
+> <details>
+> <summary>展開完整內容</summary><br>
+> 呢個世界真係冇得玩喇，成日都係呢啲慘劇。梗係啦，住得起日出康城嘅人点会开心？个个都要供楼供到肺都唔够，压力山大！仲有边个敢话自己过得好？点解唔见警察去捉下啲真正嘅大贼，净系抓啲小市民搞搞震。哎呀，我地呢班草根市民就系命苦，睇吓今日又有边个上新闻啦。😂💔�新闻快D出多D，我地要稳D料吹水添。
+> </details>
+
+## 常見報錯
+
+以下是一些在執行本項目的過程中遇到的一些報錯和解決辦法
+
+### 錯誤 1
+```bash
+NameError: name 'resume_adapter_file' is not defined
+```
+
+#### 背景：
+在微調的指令中加入 `--resume-adapter-file`，利用已存在的 adapter 文件繼續進行微調，會出現以上報錯。
+
+```bash
+mlx_lm.lora \
+    --model <path_to_model> \
+    --resume-adapter-file <path_to_adapters.safetensors> \
+    --train \
+    --data <path_to_data> \
+    --iters 600
+```
+
+#### 解決辦法：
+在 `mlx_lm/lora.py:173` 中，把
+```python
+print(f"Loading pretrained adapters from {resume_adapter_file}")
+```
+改為
+```python
+print(f"Loading pretrained adapters from {args.resume_adapter_file}")
+```
+
+### 錯誤 2
+```bash
+UnicodeDecodeError: ‘utf-8‘ codec can‘t decode bytes in position xxx-xxx: unexpected end of dat
+```
+
+#### 背景：
+在生成的過程中，可能會出現以上報錯，令生成終止。
+
+#### 解決辦法：
+在 `mlx_lm.tokenizer_utils.py:204` 段中，把：
+```python
+current_text = bytearray(self._byte_decoder[c] for c in self._unflushed).decode(
+    "utf-8"
+)
+```
+改為
+```python
+current_text = bytearray(self._byte_decoder[c] for c in self._unflushed).decode(
+    "utf-8",
+    errors="ignore"
+)
+```
+
+### 錯誤 3
+```bash
+zsh: killed ...
+UserWarning: resource_tracker: There appear to be 1 leaked semaphore objects to clean up at shutdown warnings.warn('resource_tracker: There appear to be %d '
+```
+
+#### 背景：
+M1 / M2 上進行訓練，在 evaluate 的時候所用的 Memory 增加，遇到系統報錯，猜想為 M2 系統上 GPU Timeout。
+
+#### 解決辦法：
+參考 [此討論](https://github.com/apple/ml-stable-diffusion/issues/8)，可嘗試降低模型大小，如採用較少的模型，或者是把模型壓縮。
+
+## 常見問題
+
+### **Q: 非 Apple Silicon 的電腦可以運行此項目嗎？**
+
+> 不能，此項目裡使用的 MLX 框架只能在 Apple Silicon 上運行。
+
+### **Q: 內存不夠的 Apple Silicon 電腦可以運行此項目嗎？**
+
+> 可以使用較少參數的模型，亦可以嘗試減少 batch size 或使用 gradient checkpointing，詳情可參照 [MLX-LM LoRA 示例](https://github.com/ml-explore/mlx-examples/blob/main/llms/mlx_lm/LORA.md#fine-tune)。
+
+### **Q: 為什麼微調比推理所需的內存多？**
+
+> 微調的過程需要計算和暫存矩陣參數的變化，會佔用比推理過程更多的內存空間。
+
+### **Q: 微調需要多久？**
+
+> 在 M3 Max 128GB (40 GPU Core) 上使用 17000 項訓練數據微調 16 層 1000 iterations 大概需要 4 小時；在 M2 Ultra 192GB (76 GPU Core) 上使用 51000 項訓練數據微調 16 層 1000 iterations 大概需要 3 小時。
+
+### **Q: 為什麼不使用 Windows 和 CUDA？**
+
+> 我喜歡 Apple。
+
+## 日誌
+- 21/06/2024: 
+    - LIHKG 的伺服器禁止腳本訪問，需加上 header 來模仿瀏覽器
+    - LIHKG 網站在高頻數據抓取時會禁止 IP 訪問，需使用 proxy 來更改訪問 IP
+    - 使用 Hugging Face Library 下載的模型缺少 config.json，不能正常運行，需直接用 MLX-LM 下載
+- 27/06/2024: 
+    - 利用 LIHKG 抓取原數據生成 completion 格式的數據集，約 4500 項數據，不包含系統信息
+    - 訓練 600 iterations 後，廣東話能力顯著提升，開始具備 LIHKG 風格
+    - 再訓練 200 iterations 後，表現開始下降
+    - 生成 chat 格式的數據集，包含系統信息
+    - 訓練 200 iterations 後，training loss 明顯加快下降，validation loss 也加快下降，其風格有明顯提升
+    - 繼續訓練 200 iterations 後，training loss 開始浮動，validation loss 稍微增加
+    - 繼續訓練 400 iterations 後，明顯出現 overfit
+- 30/06/2024: 
+    - 再次抓取 50000 項數據，再次過濾後生成 17000 項數據的數據集，更新系統信息，重新訓練 800 iterations
+    - 模型表現有明顯提升，然而在大概 400 iterations 開始 training loss 持續浮動
+- 01/07/2024:
+    - 優化系統信息，加入某些負面字眼後，模型能夠脫離本來的生成內容限制，更貼合訓練數據
+    - 優化代碼，使用新系統信息繼續訓練，training loss 和 validation 明顯地持續下降
+    - 再次抓取 2300000 項數據後，生成 60000 項數據的數據集
+    - 嘗試使用不同系統信息來訓練模型
+- 04/07/2024:
+    - 嘗試使用 M2 Ultra 192GB 用新數據集訓練 Qwen/Qwen2-72B-Instruct，中途內存爆滿令訓練終止，數據缺損和丟失
+    - 使用新數據集重新訓練 Qwen/Qwen1.5-32B-Chat
+- 06/07/2024:
+    - 嘗試量化模型，效果不如理想
+- 08/07/2024:
+    - 加強訓練數據篩選條件，訓練集數據量約為 27000
+    - 嘗試使用 shenzhi-want/Llama3-70B-Chinese-Chat 模型，中途內存爆滿，但 200 iterations 的表現不錯
+    - 嘗試訓練 Qwen/Qwen1.5-32B-Chat 所有 70 層，內存耗用為 182 GB
+- 09/07/2024:
+    - 棄用 Hugging Face transformer，轉用 MLX
+    - 使用 gradient checkpointing 訓練 Qwen/Qwen1.5-32B-Chat 所有層 2600 iterations，內存耗用為 99 GB
+    - 使用 gradient checkpointing 訓練 shenzhi-wang/Llama3-70B-Chinese-Chat 所有層 2000 iterations，內存耗用為 167 GB，表現一般
+
+## 參考
+1. bilibot, linyiLYi：https://github.com/linyiLYi/bilibot/tree/main
+2. 範例影片，林亦：https://www.youtube.com/watch?v=52clfKcM4M4&t=1s
+3. 連登討論區：https://lihkg.com
+4. CLiB中文大模型能力評測榜單: https://github.com/jeinlee1991/chinese-llm-benchmark
+5. Qwen1.5-32B-Chat：https://huggingface.co/Qwen/Qwen1.5-32B-Chat
+6. 蘋果 MLX-LM LoRA 範例：https://github.com/ml-explore/mlx
+7. 維基百科：https://zh.wikipedia.org
+8. CSDN: https://blog.csdn.net/
+9. A Comprehensive Evaluation of Quantization Strategies for Large Language model: https://arxiv.org/abs/2402.16775