import gradio as gr import json import random from datasets import load_dataset def load_huggingface_dataset(dataset_name): """从 Hugging Face 加载数据集""" dataset = load_dataset(dataset_name) return dataset['train'] # 假设我们使用训练集 def parse_json_or_jsonl(data): """解析 JSON 或 JSONL 格式的数据""" parsed_data = [] if isinstance(data, list): # 如果是 JSON 格式(列表) parsed_data = data elif isinstance(data, str): # 如果是 JSONL 格式(每行一个 JSON 对象) for line in data.splitlines(): if line.strip(): # 跳过空行 parsed_data.append(json.loads(line)) return parsed_data def random_data_viewer(dataset_name): """从 Hugging Face 数据集中随机抽取一条数据""" if dataset_name is None: return "请选择一个数据集!", None data = load_huggingface_dataset(dataset_name) if len(data) == 0: return "数据集为空或格式不正确!", None # 将数据集转换为列表形式 data_list = [item for item in data] # 随机选择一条数据 random_entry = random.choice(data_list) # 格式化输出为 Markdown output = "\n".join([f"**{key}**: {value}" for key, value in random_entry.items()]) return output, data_list # 返回数据以存储供后续使用 def sample_more(data): """从已有数据中再采样一条""" if not data: return "没有可用数据,请先选择一个数据集!" random_entry = random.choice(data) # 格式化输出为 Markdown output = "\n".join([f"**{key}**: {value}" for key, value in random_entry.items()]) return output # Gradio 界面 with gr.Blocks() as app: gr.Markdown("# Hugging Face 数据集查看器") gr.Markdown("选择一个 Hugging Face 数据集,随机展示其中一条数据。点击按钮可以重新采样。") with gr.Row(): dataset_name = gr.Textbox(label="输入 Hugging Face 数据集名称", placeholder="例如: imdb") sample_button = gr.Button("再采样") output_box = gr.Textbox(label="随机数据", lines=10, max_lines=20) # 用于存储加载后的数据 state_data = gr.State() # 绑定事件:输入数据集名称后随机取一条数据 dataset_name.change(random_data_viewer, inputs=dataset_name, outputs=[output_box, state_data]) # 绑定事件:点击按钮后从已有数据中再采样 sample_button.click(sample_more, inputs=state_data, outputs=output_box) # 启动 Gradio 应用 app.launch()