方言听不懂,手把手教你用 Milvus 搭建方言翻译器!

2021/08/31 10:49
阅读数 89

坐在上海的公交车上,我有时会遇到这样的烦恼:稍一分神,没能听见普通话报站,支棱起耳朵,却听不懂沪语报站。为了解决这个问题,我决定——学习沪语?No, 作为一名数据工程师,我索性搭建了一个方言翻译器,帮助大家轻松听懂地方方言,再也不会错过公交车站。

在本次的项目中,我会手把手教你使用 Milvus 搭建方言翻译器。通过这个项目,你能收获:

  • 熟悉开源数据集,在日常的模型训练中应用这些数据集
  • 亲自动手搭建 Demo,真正解决实际生活场景中问题
  • 学会使用 Milvus 后,还有更多的可以结合 Milvus 的应用场景等着你去发现

如果你是初次了解 Milvus 和 MagicHub 的小伙伴,我们为你准备了一个简短的介绍:

Milvus

Milvus 是基于 FAISS、Annoy、HNSW 等向量搜索库构建,核心是解决稠密向量相似度检索的问题。最近, Milvus 2.0 版本已经发布了,在向量检索库的基础上,Milvus 支持了数据分区分片、持久化、增量数据摄取、标量向量混合查询、Time Travel 等功能,同时大幅优化了向量检索的性能。推荐用户使用 Kubernetes 部署 Milvus ,以获得最佳的可用性和弹性。

MagicHub 

MagicHub.com 是爱数智慧发布的一个开源社区。爱数智慧为从事语音识别、语音合成、自然语言理解等人工智能领域研发与应用研究的企业、科研机构提供数据服务。MagicHub 开源数据覆盖多个场景、行业、语种。自 2021 年 4 月 15 日正式发布以来,已经覆盖 3000+ 全球开发者,累计下载超过 15 万小时数据集。目前开源 50 多种用于人工智能训练/测试的数据集,包括方言和小语种。数据集种类包含 NLP、ASR、TTS 数据集和 LEX 发音词典等。MagicHub 帮助 AI 开发者快速找到适合自己模型的数据集,用开源数据加速创新。

  1. 数据准备

本项目中,我们选择了 MagicHub 社区中提供的上海话数据集来源详见文末链接[1],你也可以根据自己的需要使用其他方言的数据集。

上海话朗读音频数据集-日常用语

此数据集包含了 4.23 个小时的上海话朗读音频和转写文本,有 4,819 条由 10 名说话人提供的日常用语语料。

录音环境 : 室内
录音语料 : 日常口语句子
文件格式 : WAV, TXT
语音参数 : 16 kHz/16 bits
录音设备 : 手机
适用领域 : 语音识别
版权所有者 : 爱数智慧


下载数据集,解压完成后可以看到这几个文件:WAV - 音频文件夹,README.txt - 数据集版权介绍文件,SPKINFO.txt - 每个音频的录音设备,性别,年龄,区域,录音频道的介绍文件,UTTRANSINFO.txt - 音频的文本内容,包含普通话和上海话。这里我们主要用到的是音频文本内容普通话部分。这里将 UTTRANSINFO.txt 文件转成了 CSV 的形式,有利于我们后续数据处理。

def loadDataSet(test_dir):    f = open(test_dir,'r',encoding='utf-8')    fname ='ts.csv'    with open(fname,'w') as fine:        for line in f.readlines():            line1 =line.split()            PROMPT=line1[3]            linew = PROMPT+"\n"            fine.write(linew)


  2. 音频检索

音频搜索项目中,首先,将音频文件用 Panns-Inference 模型转成特征向量存储到 Milvus 2.0,并返回对应的 ID;接着,在 MySQL 数据库中存储 ID 、音频文件的路径 ,以及文本内容对应关系;随后,在 Milvus 2.0 中检索得出与其相似的音频文件,并返回最相似的前 N 个结果;最后,根据返回的 ID 结果,在数据库中搜索到对应的音频文件和文本内容。

使用 Milvus 2.0 最新音频检索项目,只需要修改少量代码,就可以对上海话音频进行检索,返回上海话的音频和音频内容。

下面是音频检索项目中需要修改的代码,在 load.py 中读取 CSV 的数据

def do_load(table_name, audio_dir,text_dir, model, milvus_client, mysql_cli):    if not table_name:        table_name = DEFAULT_TABLE    vectors, names = extract_features(audio_dir, model)    ids = milvus_client.insert(table_name, vectors)    loadDataSet(text_dir)    data = pd.read_csv("ts.csv")    text = data['PROMPT'].tolist()    milvus_client.create_index(table_name)    mysql_cli.create_mysql_table(table_name)    mysql_cli.load_data_to_mysql(table_name, format_data(ids, names,text))    return len(ids)

在 search.py 中需要修改以下的代码部分:

def do_search(host,table_name, audio_path, model, milvus_client, mysql_cli): try: if not table_name: table_name = DEFAULT_TABLE feat = get_audio_embedding(audio_path) vectors = milvus_client.search_vectors(table_name, [feat], TOP_K) vids = [str(x.id) for x in vectors[0]] paths,text = mysql_cli.search_by_milvus_ids(vids, table_name) distances = [x.distance for x in vectors[0]] for i in range(len(paths)): tmp = "http://" + str(host) + "/data?audio_path=" + str(paths[i]) paths[i] = tmp return vids, paths, distances,text except Exception as e: LOGGER.error(" Error with search : {}".format(e)) sys.exit(1)

在 mysql_helpers.py 文件中修改以下代码:

def create_mysql_table(self, table_name):        sql = "create table if not exists " + table_name + "(milvus_id TEXT, audio_path TEXT,text TEXT) ENGINE=InnoDB DEFAULT CHARSET=utf8;"        try:            self.cursor.execute(sql)            LOGGER.debug("MYSQL create table: {} with sql: {}".format(table_name, sql))        except Exception as e:            LOGGER.error("MYSQL ERROR: {} with sql: {}".format(e, sql))            sys.exit(1)
def load_data_to_mysql(self, table_name, data): sql = "insert into " + table_name + " (milvus_id,audio_path,text) values (%s,%s,%s);" try: self.cursor.executemany(sql, data) self.conn.commit() LOGGER.debug("MYSQL loads data to table: {} successfully".format(table_name)) except Exception as e: LOGGER.error("MYSQL ERROR: {} with sql: {}".format(e, sql)) sys.exit(1)

def search_by_milvus_ids(self, ids, table_name): str_ids = str(ids).replace('[', '').replace(']', '') sql = "select * from " + table_name + " where milvus_id in (" + str_ids + ") order by field (milvus_id," + str_ids + ");" try: self.cursor.execute(sql) results = self.cursor.fetchall() results_path=[res[1] for res in results] results_text=[res[2] for res in results] LOGGER.debug("MYSQL search by milvus id.") return results_path,results_text except Exception as e: LOGGER.error("MYSQL ERROR: {} with sql: {}".format(e, sql)) sys.exit(1)

及修改相关的接口,在 mai n.py 中修改以下代码:

class Item(BaseModel): Table: Optional[str] = None File:str Text:str
@app.post('/audio/load')async def load_audios(item: Item): # Insert all the audio files under the file path to Milvus/MySQL try: total_num = do_load(item.Table, item.File,item.Text,MODEL, MILVUS_CLI, MYSQL_CLI) LOGGER.info("Successfully loaded data, total count: {}".format(total_num)) return {'status': True, 'msg': "Successfully loaded data!"} except Exception as e: LOGGER.error(e) return {'status': False, 'msg': e}, 400
@app.post('/audio/search')async def search_audio(request: Request,Table: str = None, audio: UploadFile = File(...)): # Search the uploaded audio in Milvus/MySQL try: # Save the upload data to server. content = await audio.read() audio_path = os.path.join(UPLOAD_PATH, audio.filename) with open(audio_path, "wb+") as f: f.write(content) host = request.headers['host'] ids, paths,text, distances= do_search(host,Table, audio_path, MODEL, MILVUS_CLI, MYSQL_CLI) names=[] names = text res = dict(zip(paths, zip(names, distances))) #res = sorted(res.items(), key=lambda item: item[1][1]) LOGGER.info("Successfully searched similar audio!") return res except Exception as e: LOGGER.error(e) return {'status': False, 'msg': e}, 400


  3. 测试运行

现在,修改完上述代码以后,参考 Github 中 Audio_similar_search 的 Readme 文档(来源详见文末链接[2])启动 FastAPI ,从 FastAPI 中验证代码是否成功运行,在浏览器中输入 localhost:8002/docs 可以看到如图所示 FastAPI 的页面, 在 Load API 中分别输入 Table 的名称,音频文件的路径,音频对应的文本的路径,然后点击 Excute 的按钮,图中显示数据插入成功。

然后,在 Search API 中输入对应的 Table 名称和需要检索的音频路径,点击 Excute 按钮进行检索。 如下图所示,就可以看到相应的音频和其对应的文本内容了。

最后,感谢爱数智慧 MagicHub 提供的开源数据集,让我们更好地结合模型与 Milvus 进行多个领域的向量检索。

在这个音频检索项目中,我们也可以使用其他的方言数据集,将数据集经过 AI 模型转成特征向量,结合 Milvus 进行相似检索,就可以把任何你听不懂的方言翻译成普通话啦!

 ●  ●  ●  

动手玩一把?

源码链接就在下方!

 ●  ●  ●  

[1] 爱数智慧 MagicHub 开源社区:

https://magichub.com/cn/category/datasets/

[2] 音频检索:

https://github.com/milvus-io/bootcamp/tree/master/solutions/audio_similarity_search




作者  | 贾晶晶

Zilliz 数据工程师,毕业于西安交通大学计算机系。加入Zilliz后,主要工作内容为数据预处理、AI模型部署、Milvus 相关技术研究,以及帮助社区用户实现应用场景落地。资深动漫粉,对社区沟通超级有耐心,平时比较关注自然语言处理领域的研究。


Github @Milvus-io|CSDN @Zilliz Planet|Bilibili @Zilliz-Planet

Zilliz 以重新定义数据科学为愿景,致力于打造一家全球领先的开源技术创新公司,并通过开源和云原生解决方案为企业解锁非结构化数据的隐藏价值。 

Zilliz 构建了 Milvus 向量数据库,以加快下一代数据平台的发展。Milvus 目前是 LF AI & Data 基金会的毕业项目,能够管理大量非结构化数据集。我们的技术在新药发现、计算机视觉、推荐引擎、聊天机器人等方面具有广泛的应用。

文章转载自Zilliz点击这里阅读原文了解更多


中国 KubeCon + CloudNativeCon + Open Source Summit 虚拟大会

12 月 9 日至 10 日

https://www.lfasiallc.com/kubecon-cloudnativecon-open-source-summit-china/


诚意邀您成为赞助商


Linux基金会诚意邀您参与:


联系关于Linux基金会




Linux基金会是非营利性组织,是技术生态系统的重要组成部分。 

Linux基金会通过提供财务和智力资源、基础设施、服务、活动以及培训来支持创建永续开源生态系统。在共享技术的创建中,Linux基金会及其项目通过共同努力形成了非凡成功的投资。请长按以下二维码进行关注。

本文分享自微信公众号 - LFAPAC(gh_8442c14fe49e)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中

作者的其它热门文章

打赏
0
0 收藏
分享
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部