文档章节

利用Olami SDK 实现语音控制计算器(iOS)

Scarlett_Zzz
 Scarlett_Zzz
发布于 2017/08/21 17:28
字数 3158
阅读 779
收藏 0

这里写图片描述

一、简介: 
Olami Calculator是一款在键盘输入算式的普通计算器的基础上,增加了支持语音控制输入算式输出结果的人工智能计算器。此外还增加了多种动画效果,计算结果提示音功能,多元化主题换肤功能,以及保存计算公式,侧滑栏查看收藏记录等功能。网上也有许多语音计算器,但是打开看,只是添加了按钮提示音等,并不能识别我们对着计算器说的内容,而Olami Calculator可以实现不用手动敲击键盘,只需要把想知道结果的算式对着语音计算器说出来,例如三加四乘五、清空等,然后Olami会根据自己的一套语音识别系统帮我们准确识别出来。真正做到一款语音控制的计算器。

二、界面直观化展示 
  

 

三、Olami SDK的配置 
step 1:创建工程与导入sdk 
Olami SDK下载地址:https://github.com/olami-developers/olami-sdk-ios.git 
下载下来之后我们可以看到sdk-libs文件夹:,把libOlamiRecognizer.a静态库文件和OlamiRecognize.h对外提供接口文件拖入到我们的工程中。配置工程: 

step 2 : 创建Olami应用 
点击https://cn.olami.ai/open/website/home/home_show注册创建个人账号并登陆。进入后创建新应用,建好之后进入应用管理可以看到下面界面 
点击查看key: 


step 3:可直接导入的语音模块 
点击配置模块选择你需要的语音模块,目前有天气,二十四点,新闻,听书,数学等50~多个模块, 
,供大家选择的还是很多的。也可以点击“进入NLI系统”,再点击导入,可以看到如下界面,这里也是已经有的模块有需要的直接导入: 
 

step 4:自定制语音模块 
olami平台会为广大开发者提供一些已经写好了的语法模块,如果提供给大家的模块不能满足当下解析录入语音的需求,那么不要慌,下面就是教大家如何定制属于自己的模块。 
首先.登录,进入我的应用(没有应用的话记得创建新应用哦),然后点击“进入NLI系统”。下面是点击之后的界面,可以看到右上角有导入和新增 

如果没有所需的模块,那么就需要点击”新增“。我们做的是计算器那就给个名字,输入calculate,提交成功后可以看到我的模块里面有了一个新模块,: 

 
点击calculate后面的进入模块。界面中有例句库,grammar,rule,slot,template模板。 
 


现在做的计算器,那需要olami为我们识别出什么呢? 
比如:9+8+7 就这个算式而言,我们对着蜜蜜说完,是希望把数字还有符号都给我们识别出来的。

分析:”9”、”+”、”8”、”+”、”7”是我们需要系统帮我们识别并且返回给我们的变量,那就可以在slot设置5个变量,slot有五种类型(这里数字用float、符号用internal),rule是一些临时的中间表达式:[等于|结果是],modifier传递预定义好的信息,不管是slot还是rule都是为grammar服务的,要显示句子要写grammar。 
各举一个例子: 
grammar:名称:两个数结果等于多少 内容:[<再>][<数字一>][<符号一>][<数字二>][<结果是>|<等于几>] 
slot:名称:数字一 类型:float 最长:50 最短:1 
rule:名称:结果是 内容:[的]结果[是|等于[多少|几]] (|:或 []:可以省略的)。 
要更多的了解点击这里查看OSL 语法描述语言 grammar的简介:https://cn.olami.ai/wiki/?mp=overview&content=quickstart.html。 
一切就绪提交成功了之后,就可以测试了,测试无误满足需求,点击“发布”就可以使用啦!

上图:

  • 1.新增grammar: 

  • 2.添加语料:写出希望可以识别的一句grammar,测试并提交 

  • 3.最后测试无误一定要点发布 

  • 4.完成配置 
    以上都完成了回到应用管理,我们就可以配置自己搭建的模块了! 

  • 5.再测试 
    噔噔噔噔~可以使用了,变量都帮我们识别出来了! 
     

     

四、代码处实现

先来看下OlamiRecognizer.h为我提供了哪些接口

 *返回结果
 */
-(void)onResult:(NSData*)result;
/*
 *取消本次会话
 */
-(void)onCancel;


/*
 *识别失败
 */
-(void)onError:(NSError *)error;

/*
 *音量的大小 音频强度范围时0到100
 */
-(void)onUpdateVolume:(float) volume;

/***
 *开始录音
 */
-(void)onBeginningOfSpeech;

/**
 *结束录音
 *
 */
-(void)onEndOfSpeech;
@end

typedef NS_ENUM(NSInteger, LanguageLocalization) {
    LANGUAGE_SIMPLIFIED_CHINESE = 0, //简体中文
    LANGUAGE_TRADITIONA_CHINESE = 1  //繁体中文
};
@interface OlamiRecognizer : NSObject
@property (nonatomic,weak) id<OlamiRecognizerDelegate> delegate;
@property (nonatomic, assign,readonly) BOOL isRecording;//是否正在录音
-(void)start;//开始录音
-(void)stop;//结束录音,开始识别
-(void)cancel;//取消本次回话
/**
 *设置语系的选项,目前只支持一种,简体中文
 */
-(void)setLocalization:(LanguageLocalization) location;
/**
 *CUSID;//终端用户标识id,用来区分各个最终用户 例如:手机的IMEI
 *appKey;//创建应用的appkey
 *api;//要调用的API类型。现有3种:语义(nli)和分词(seg)和语音(asr)
 *appSecret;//加密的秘钥,由应用管理自动生成
 */
-(void)setAuthorization:(NSString*)appKey api:(NSString*)api appSecret:(NSString*)appSecret cusid:(NSString*)CUSID;
-(void)setVADTimeoutFrontSIL:(unsigned int)value;//设置VAD前端点超时范围 1000~~10000(ms) 默认3000
-(void)setVADTimeoutBackSIL:(unsigned int)value;//设置VAD后端点超时范围  1000~~10000(ms) 默认2000
-(void)setInputType:(int) type;//设置是语音输入还是文字输入 0 为语音 1为文字输入
-(void)setLatitudeAndLongitude:(double) latitude longitude:(double)longit;//设置地理位置,参数为经纬度
-(void)sendText:(NSString*)text;//发送输入的文字
  •  

项目中,首先 初始化Olami语音识别对象并设置代理

 /**
 *CUSID;//终端用户标识id,用来区分各个最终用户 例如:手机的IMEI
 *appKey;//创建应用的appkey
 *api;//要调用的API类型。现有3种:语义(nli)和分词(seg)和语音(asr)
 *appSecret;//加密的秘钥,由应用管理自动生成
 */
#define AppKey @""//查看自己的
#define AppSecret @""
#define macID @""

-(void)setupOLAMI{
    _olamiRecognizer= [[OlamiRecognizer alloc] init];
    _olamiRecognizer.delegate = self;//此处为OlamiRecognizerDelegate

    [_olamiRecognizer setAuthorization:AppKey api:@"asr" appSecret:AppSecret cusid:macID];

    //设置语言,目前只支持中文
    [_olamiRecognizer setLocalization:LANGUAGE_SIMPLIFIED_CHINESE];

}
  •  

设置一个录音键

#pragma mark --录音键
- (IBAction)recordButton:(UIButton *)sender {
    //设置为语音模式(代理方法:0为语音)
    [_olamiRecognizer setInputType:0];
    //开始录音
    if (_olamiRecognizer.isRecording) {//isRecording = YES 即为录音模式
        [_olamiRecognizer stop];//代理方法
        [_recordButton setImage:[UIImage imageNamed:@"话筒4.png"] forState:UIControlStateNormal];

    }else{
        [_olamiRecognizer start];//代理方法

        [_recordButton setImage:[UIImage imageNamed:@"话筒7.png"] forState:UIControlStateNormal];
        [_recordButton.layer addAnimation:[self shine] forKey:@"shine"];//添加一个动画
    }
}

//发光动画
- (CABasicAnimation *)shine{
    CABasicAnimation *animation =[CABasicAnimation animationWithKeyPath:@"shine"];
    animation.fromValue = [NSNumber numberWithFloat:1.0f];
    animation.toValue = [NSNumber numberWithFloat:0.0f];
    animation.autoreverses = YES;
    animation.duration = 0.5;
    animation.repeatCount = MAXFLOAT;
    animation.removedOnCompletion = NO;
    animation.fillMode = kCAFillModeForwards;
    animation.timingFunction = [CAMediaTimingFunction functionWithName:kCAMediaTimingFunctionEaseIn];
    return animation;
}


#pragma mark -- 录音结束(代理方法)
- (void)onEndOfSpeech {
    [_recordButton setImage:[UIImage imageNamed:@"话筒4.png"] forState:UIControlStateNormal];
    [_recordButton.layer removeAnimationForKey:@"shine"];
}
  •  

识别音量

#pragma mark--NLU delegate
- (void)onUpdateVolume:(float)volume {
    if (_olamiRecognizer.isRecording) {
        _waveView.present = volume/100;
    }
}

waveview: 根据sin函数 y=Asin(ωx+φ)+b
    //e.g.:1.
    CGContextRef context = UIGraphicsGetCurrentContext();

    CGMutablePathRef path = CGPathCreateMutable();

    CGContextSetLineWidth(context, 3);
    CGContextSetLineCap(context, kCGLineCapRound);
    CGContextSetAllowsAntialiasing(context, true);
    CGContextSetRGBStrokeColor(context, 124 / 255.0, 145 / 255.0, 155 / 255.0, 1.0);  
    CGContextBeginPath(context);

    float y= (1 - _present) * rect.size.height;

    CGPathMoveToPoint(path, NULL, -10, y);
    for(float x=0;x<=rect.size.width;x++){
        y=  sin( 3*x/rect.size.width * M_PI + moveX/rect.size.width *M_PI ) *maxA + _currentLinePointY;
        CGPathAddLineToPoint(path, nil, x, y);
    }

    CGContextAddPath(context, path);

    CGContextDrawPath(context, kCGPathStroke);
    CGPathRelease(path);
  • 界面差不多就这些,主要是看返回来的result 
    调用代理这个方法-(void)onResult:(NSData*)result; 其语义分析后的结果以一个json字符串的形式回调过来,对这个字符串进行解析,就可以获得想要的变量。
#pragma mark --返回结果
- (void)onResult:(NSData *)result {
    NSError *error;
    __weak typeof(self) weakSelf = self;
    if (error) {
        NSLog(@"error is %@",error.localizedDescription);
    }else{
        NSDictionary *json = [NSJSONSerialization JSONObjectWithData:result
                                                            options:NSJSONReadingMutableContainers
                                                              error:&error];
        NSLog(@"json=%@",json);

        if ([json[@"status"] isEqualToString:@"ok"]) {


            NSDictionary *asr = [json[@"data"] objectForKey:@"asr"];

            //如果asr不为空,说明目前是语音输入
            if (asr) {
                [weakSelf processASR:asr];
            }


            NSDictionary *nli = [[json[@"data"] objectForKey:@"nli"] objectAtIndex:0];
            NSDictionary *desc = [nli objectForKey:@"desc_obj"];
            int status = [[desc objectForKey:@"status"] intValue];
            if (status != 0) {// 0 说明状态正常,非零为状态不正常
                NSString *result  = [desc objectForKey:@"result"];
                dispatch_async(dispatch_get_main_queue(), ^{
                    _resultLabel.text = result;//输出不正常提示
                    _resultLabel.font = [UIFont systemFontOfSize:20];
                    [_resultLabel startAnimation];

                    _showTextView.text = asr[@"result"];
                    AudioServicesPlaySystemSound (soundID);
                });

            }else{
                NSDictionary *semantic = [[nli objectForKey:@"semantic"]
                                          objectAtIndex:0];
                //对slot和算式的处理结果
                [weakSelf processSemantic:semantic asr:asr];
                //处理modifier
                NSArray *modifierArr = [semantic objectForKey:@"modifier"];

                [weakSelf processModifier:modifierArr result:desc[@"result"]];
            }


        }else{
            _showTextView.text = @"请说出要计算的公式";
        }
    }

}

#pragma mark --处理ASR语音对话节点
- (void)processASR:(NSDictionary*)asrDic {
    NSString *result  = [asrDic objectForKey:@"result"];
    if (result.length == 0) { //如果结果为空,则弹出警告框
        [self showAlert:@"没有接受到语音,请重新输入!"];
        return;
    }else{
        dispatch_async(dispatch_get_main_queue(), ^{
            NSString *str = [result stringByReplacingOccurrencesOfString:@" " withString:@""];//去掉字符中间的空格
            NSLog(@"answer result = %@",str);
        });
    }
}

//处理semantic节点返回的slot 
- (void)processSemantic:(NSDictionary*)semanticDic asr:(NSDictionary *)asr {
    NSMutableArray *sumArr = [NSMutableArray array];
    for (NSDictionary *dic in semanticDic[@"slots"]) {
        NSString *nameStr = dic[@"name"];
    //遍历,然后把slot添加到数组里
    NSString *textStr = [[sumArr componentsJoinedByString:@","] stringByReplacingOccurrencesOfString:@"," withString:@""];
    NSLog(@"textstr=%@",textStr);

    if (![textStr isEqualToString:@""]) {
        _passString = [self replaceInputStrWithPassStr:textStr];

        if (asr) {
            _lastAnswer = _resultLabel.text;//语音记录上一次记录
        }else{
            _lastAnswer = @"";
        }

        //第一次运算或者不再加
        if ([_lastAnswer isEqualToString:@"error"]||[_lastAnswer isEqualToString:@""]) {
            if (asr) {
                dispatch_async(dispatch_get_main_queue(), ^{
                    _showTextView.text = [[textStr stringByReplacingOccurrencesOfString:@"2√" withString:@"√"] stringByAppendingString:@"="];//计算公式
                });
                textStr = [_calcultor calculatingWithString:_passString andAnswerString:@"0"];
            }else{
                textStr = [_calcultor calculatingWithString:_passString andAnswerString:@"0"];
            }


        //有结果考虑再运算的步骤
        }else{

            //有结果再运算的情况
            UniChar c = [_passString characterAtIndex:0];
            if (c =='-'|| c == '+'||c == 'x'||c =='/')
            {
                dispatch_async(dispatch_get_main_queue(), ^{
                    _showTextView.text = [[_lastAnswer stringByAppendingString:[textStr stringByReplacingOccurrencesOfString:@"2√" withString:@"√"]] stringByAppendingString:@"="];//计算公式
                });

                textStr = [_calcultor calculatingWithString:[_lastAnswer stringByAppendingString:_passString] andAnswerString:@"0"];//
            }
            //有结果但是不想再运算
            else{
                dispatch_async(dispatch_get_main_queue(), ^{
                    _showTextView.text = [[textStr stringByReplacingOccurrencesOfString:@"2√" withString:@"√"] stringByAppendingString:@"="];//计算公式
                });
                textStr = [_calcultor calculatingWithString:_passString andAnswerString:@"0"];
            }

        }

        dispatch_async(dispatch_get_main_queue(), ^{
                AudioServicesPlaySystemSound (soundID1);

                _resultLabel.font = [UIFont systemFontOfSize:50.0];
                _resultLabel.text = textStr;
        });

        [_resultLabel startAnimation];
    }
}
  •  

后台返回:语音内容是显示在asr字段里,大家可能会有疑问后台怎么识别的我们语音的内容,这是由于我们之前在olami平台创建新应用后导入了一套识别相应内容的grammar,这样olami的语义解析功能会为我们自动识别出想要得到的变量内容。

比如我说:3+6乘九等于几? 
对应grammar语法:[<再>][<数字一>]<符号一><数字二><符号二><数字三>[<结果>|<等于>] 
返回结果:

json={
    data =     {
        asr =         {
            final = 1;
            result = "\U4e09\U52a0\U516d\U4e58\U4e5d\U7b49\U4e8e\U51e0";
            "speech_status" = 0;
            status = 0;
        };
        nli =         (
                        {
                "desc_obj" =                 {
                    status = 0;
                };
                semantic =                 (
                                        {
                        app = calculator;
                        customer = 59530feb84aea6f385319c65;
                        input = "\U4e09\U52a0\U516d\U4e58\U4e5d\U7b49\U4e8e\U51e0";
                        modifier =                         (
                        );
                        slots =                         (
                                                        {
                                name = number3;
                                "num_detail" =                                 {
                                    "recommend_value" = 9;
                                    type = float;
                                };
                                value = "\U4e5d";
                            },
                                                        {
                                name = number1;
                                "num_detail" =                                 {
                                    "recommend_value" = 3;
                                    type = float;
                                };
                                value = "\U4e09";
                            },
                                                        {
                                name = number2;
                                "num_detail" =                                 {
                                    "recommend_value" = 6;
                                    type = float;
                                };
                                value = "\U516d";
                            },
                                                        {
                                name = symbol1;
                                value = "+";
                            },
                                                        {
                                name = symbol2;
                                value = x;
                            }
                        );
                    }
                );
                type = calculator;
            }
        );
    };
    status = ok;
}
  •  

再加三等于几? 
对应grammar:[<再>][<数字一>][<符号一>][<数字二>][<结果>|<等于>] 、 
后台返回json字段:

json={
    data =     {
        asr =         {
            final = 1;
            result = "\U518d\U52a0\U4e09\U7b49\U4e8e\U51e0";
            "speech_status" = 0;
            status = 0;
        };
        nli =         (
                        {
                "desc_obj" =                 {
                    status = 0;
                };
                semantic =                 (
                                        {
                        app = calculator;
                        customer = 59530feb84aea6f385319c65;
                        input = "\U518d\U52a0\U4e09\U7b49\U4e8e\U51e0";
                        modifier =                         (
                        );
                        slots =                         (
                                                        {
                                name = again;
                                value = a;
                            },
                                                        {
                                name = number2;
                                "num_detail" =                                 {
                                    "recommend_value" = 3;
                                    type = float;
                                };
                                value = "\U4e09";
                            },
                                                        {
                                name = symbol1;
                                value = "+";
                            }
                        );
                    }
                );
                type = calculator;
            }
        );
    };
    status = ok;
}
  •  
  • 键盘上的收藏是用FMDB实现。

计算过程:涉及到算法数据结构堆栈问题,大概思路设置优先级,设置两个栈,一个数据栈,一个运算符栈,在运算符栈底添加#方便处理。获取表达式第一个元素如果是数据添加到数据栈中,元素如果是运算符,那么每次都要跟运算符栈定元素比较优先级,如果取得的运算符的优先级大于栈顶元素优先级时,该运算符直接进栈,优先级不大的话,就要取栈顶运算符优先运算,最后碰到#停止。如果有记忆上一轮结果的话,结果需要放到数据栈栈进行下一次处理


        NSString *subStr1 = [numberArray    objectAtIndex:0];
        UniChar c = [subStr1   characterAtIndex:0];
        //如果是数据则添加到数据栈
        if ((subStr1.length > 1 && [subStr1 hasPrefix:@"-"])||(c >='0'&&c <= '9')) {
            //插到数据栈顶
            [operandStackArray insertObject:subStr1 atIndex:0];
            //元素每次进栈之后要在表达式数组中移除该元素
            [numberArray   removeObjectAtIndex:0];
        }
        else
        {
            //元素是运算符,则每次都要跟运算符栈的栈顶元素比较优先级
            NSString *topStack2 = [stack2   objectAtIndex:0];//取得运算符栈栈顶元素
            if ([subStr1   isEqualToString:@"#"] && [topStack2   isEqualToString:@"#"]){
                //当取得元素和栈顶元素都为#时,说明表达式运算结束,获取运算结果
                result = [operandStackArray  objectAtIndex:0];
                break;
            }
            //对取得的元素在优先级表中获取优先级
            NSInteger one = [[_opPriority objectForKey:subStr1]integerValue];
            //对栈顶元素在优先级表中获取优先级
            NSInteger two = [[_opPriority objectForKey:topStack2]integerValue];

            if (one < two) {
                //取得的运算符的优先级大于栈顶元素优先级时,该运算符直接进栈
                [stack2 insertObject:subStr1 atIndex:0];
                [numberArray   removeObjectAtIndex:0];
            }
            else
            {
                NSString *strX = [operandStackArray  objectAtIndex:0];
                if ([strX   isEqualToString:@"error"]) {
                    result =@"error";
                    break;
                }
                double x1 = [strX  doubleValue];
                [operandStackArray removeObjectAtIndex:0];
                strX = [operandStackArray  objectAtIndex:0];
                if ([strX   isEqualToString:@"error"]) {
                    result =@"error";
                    break;
                }
                double x2 = [strX doubleValue];
                [operandStackArray removeObjectAtIndex:0];
                [stack2 removeObjectAtIndex:0];
                //计算结果
                result = [self calculateNumbersWithOperator:topStack2 betweenDouble:x2 andDoule:x1];
                if ([result   isEqualToString:@"error"]) {
                    break;
                }
                [operandStackArray insertObject:result atIndex:0];

            }
        }

 

有不明白的可以联系我,微信、QQ:121003626 

© 著作权归作者所有

Scarlett_Zzz
粉丝 0
博文 1
码字总数 3158
作品 0
上海
私信 提问
iOS 10 发布:10 大新功能、预装 App 可删、信息更好玩

苹果在今天举行的 WWDC 发布会上,正式推出了 iOS 10。iOS 10 拥有10大新功能,系统的各个方面都得到了增强,信息应用功能更强大,更好玩。照片应用支持全新回忆功能,可以自动整理照片。Sir...

oschina
2016/06/14
4.3K
29
Phonegap各类商业插件

【Phonegap商业插件服务】[目前插件已经支持到Phonegap最新版本] 1.phonegap-百度社会化分享-andriod插件 v2.0 【该插件支持微信分享和朋友圈分享,qq好友分享,微博分享】 2.phonegap百度社...

夜澜小雨
2015/07/15
1K
0
iOS应用开发应遵循的10条设计原则

来自 @雷锋网 投稿: 大家知道,苹果App Store的应用审查十分严格,可以说近乎吹毛求疵。如何才能确保自己的应用通过苹果的审查,顺利在App Store上架?以下是BI为广大开发者总结出来的10条设...

虫虫
2011/12/26
1K
4
苹果公司发布 iOS 8 重新定义通知中心

6月3日消息,一年一度的苹果开发者大会于北京时间6月3日凌晨1点在美国旧金山开幕。苹果公司在会上发布了最新的移动设备操作系统iOS 8。 据介绍,在全新的iOS 8中,苹果重新定义了通知中心,可...

oschina
2014/06/03
1K
4
iOS 11.2 首个测试版发布,修复计算器运算错误 Bug

苹果今天向开发者发布了 iOS 11.2 第一个测试版。iOS 11.2 修复了计算器应用在快速输入时,会导致运算结果出错的 Bug。计算器 Bug 在 iOS 11 测试阶段就存在,直到 iOS 11.2 发布前,一直没有...

达尔文
2017/10/31
1K
6

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周六乱弹 —— 早上儿子问我他是怎么来的

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @凉小生 :#今日歌曲推荐# 少点戾气,愿你和这个世界温柔以待。中岛美嘉的单曲《僕が死のうと思ったのは (曾经我也想过一了百了)》 《僕が死の...

小小编辑
今天
2.2K
15
Excption与Error包结构,OOM 你遇到过哪些情况,SOF 你遇到过哪些情况

Throwable 是 Java 中所有错误与异常的超类,Throwable 包含两个子类,Error 与 Exception 。用于指示发生了异常情况。 Java 抛出的 Throwable 可以分成三种类型。 被检查异常(checked Exc...

Garphy
今天
38
0
计算机实现原理专题--二进制减法器(二)

在计算机实现原理专题--二进制减法器(一)中说明了基本原理,现准备说明如何来实现。 首先第一步255-b运算相当于对b进行按位取反,因此可将8个非门组成如下图的形式: 由于每次做减法时,我...

FAT_mt
昨天
40
0
好程序员大数据学习路线分享函数+map映射+元祖

好程序员大数据学习路线分享函数+map映射+元祖,大数据各个平台上的语言实现 hadoop 由java实现,2003年至今,三大块:数据处理,数据存储,数据计算 存储: hbase --> 数据成表 处理: hive --> 数...

好程序员官方
昨天
61
0
tabel 中含有复选框的列 数据理解

1、el-ui中实现某一列为复选框 实现多选非常简单: 手动添加一个el-table-column,设type属性为selction即可; 2、@selection-change事件:选项发生勾选状态变化时触发该事件 <el-table @sel...

everthing
昨天
21
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部