strtok函数和strtok_r函数

strtok函数和strtok_r函数注:本文转载自博客园,感谢作者整理!1.一个应用实例网络上一个比较经典的例子是将字符串切分,存入结构体中。如,现有结构体typedefstructperson{charname[25];ch

大家好,又见面了,我是你们的朋友全栈君。

注:本文转载自博客园,感谢作者整理!

1.一个应用实例

网络上一个比较经典的例子是将字符串切分,存入结构体中。如,现有结构体

typedef struct person{ 
    char name[25]; 
    char sex[10]; 
    char age[4]; 
}Person;

需从字符串 char buffer[INFO_MAX_SZ]=”Fred male 25,John male 62,Anna female 16″; 中提取出人名、性别以及年龄。

一种可行的思路是设置两层循环。外循环,先以 ‘,’ (逗号) 为分界符,将三个人的信息分开,然后对于每一个子串,再以 ‘ ’(空格) 为分界符分别得到人名、性别和年龄。

按照这个思路,理应能够实现所要的功能。为了简化步骤,我们调用strtok,先将子串先一一保存到字符串指针数组中,程序末尾打印指针数组中保存的所有子串,验证程序的正确性。得到的程序应该如下:

  1. int in=0;  
  2. char buffer[INFO_MAX_SZ]=“Fred male 25,John male 62,Anna female 16”;      
  3. char *p[20];  
  4. char *buf = buffer;  
  5. while((p[in]=strtok(buf,“,”))!=NULL)   
  6. {  
  7.     buf=p[in];  
  8.     while((p[in]=strtok(buf,” “))!=NULL)   
  9.     {  
  10.         in++;  
  11.         buf=NULL;  
  12.     }  
  13.     buf=NULL;  
  14. }  
  15. printf(“Here we have %d strings/n”, in);  
  16. for (int j=0; j<in; j++)  
  17. {     
  18.     printf(“>%s</n”,p[j]);  
  19. }  

<span role="heading" aria-level="2">strtok函数和strtok_r函数 

 

执行的结果是,仅仅提取出了第一个人的信息。看来程序的执行并没有按照我们的预想。原因是什么?

原因是:在第一次外循环中,strtok将”Fred male 25,”后的这个逗号,改为了’/0’,这时strtok内部的this指针指向的是逗号的后一个字符’J’经过第一次的内循环,分别提取出了“Fred” “male” “25”。提取完”25”之后,函数内部的this指针被修改指向了”25”后面的’/0’内循环结束后(内循环实际执行了4次),开始第二次的外循环,由于函数第一个参数被设定为NULL,strtok将以this指针指向的位置作为分解起始位置。很遗憾,此时this指针指向的是’/0’,strtok对一个空串无法切分,返回NULL。外循环结束。所以,我们只得到了如图所示的第一个人的信息。

 

看来使用strtok并不能通过两层循环的办法,解决提取多人信息的问题。有没有其他办法呢? 显然,是有其他途径的。

我给出了一种解决办法。同时以 ‘,’ (逗号) 和 ‘ ’(空格) 为分界符,一层循环解决问题。

  1. in = 0;  
  2. while ((p[in] = strtok(buf, ” ,”)) != NULL)  
  3. {  
  4.     switch (in % 3)  
  5.     {  
  6.     case 0:  
  7.         printf(“第%d个人:Name!/n”, in/3+1);  
  8.         break;  
  9.     case 1:  
  10.         printf(“第%d个人:Sex!/n”, in/3+1);  
  11.         break;  
  12.     case 2:  
  13.         printf(“第%d个人:Age!/n”, in/3+1);  
  14.         break;  
  15.     }  
  16.     in++;  
  17.     buf = NULL;  
  18. }  
  19. printf(“Here we have %d strings/n”, in);  
  20. for (int j=0; j<in; j++)  
  21. {     
  22.     printf(“>%s</n”,p[j]);  
  23. }  

<span role="heading" aria-level="2">strtok函数和strtok_r函数

 

程序虽然可以达到理想的结果,但不是一个太好解决方案。程序要求你在提取之前必须要知道一个结构体中究竟包含了几个数据成员。明显不如双重循环那样直观。

倘若一定要采用二重循环那种结构提取,有没有合适的函数能够代替strtok呢? 有的,它就是strtok_r。

 

2.strtok_r及其使用

strtok_r是linux平台下的strtok函数的线程安全版。windows的string.h中并不包含它。要想使用这个函数,上网搜其linux下的实现源码,复制到你的程序中即可。别的方式应该也有,比如使用GNU C Library。我下载了GNU C Library,在其源代码中找到了strtok_r的实现代码,复制过来。可以看作是第一种方法和第二种方法的结合。

strtok的函数原型为 char *strtok_r(char *str, const char *delim, char **saveptr);

下面对strtok的英文说明摘自http://www.linuxhowtos.org/manpages/3/strtok_r.htm,译文是由我给出的。

The strtok_r() function is a reentrant version strtok(). The saveptr argument is a pointer to a char * variable that is used internally by strtok_r() in order to maintain context between successive calls that parse the same string.

strtok_r函数是strtok函数的可重入版本。char **saveptr参数是一个指向char *的指针变量,用来在strtok_r内部保存切分时的上下文,以应对连续调用分解相同源字符串。

On the first call to strtok_r(), str should point to the string to be parsed, and the value of saveptr is ignored. In subsequent calls, str should be NULL, and saveptr should be unchanged since the previous call.

第一次调用strtok_r时,str参数必须指向待提取的字符串,saveptr参数的值可以忽略。连续调用时,str赋值为NULL,saveptr为上次调用后返回的值,不要修改。

Different strings may be parsed concurrently using sequences of calls to strtok_r() that specify differentsaveptr arguments.

一系列不同的字符串可能会同时连续调用strtok_r进行提取,要为不同的调用传递不同的saveptr参数。

The strtok() function uses a static buffer while parsing, so it’s not thread safe. Use strtok_r() if this matters to you.

strtok函数在提取字符串时使用了静态缓冲区,因此,它是线程不安全的。如果要顾及到线程的安全性,应该使用strtok_r。

 

strtok_r实际上就是将strtok内部隐式保存的this指针,以参数的形式与函数外部进行交互。由调用者进行传递、保存甚至是修改。需要调用者在连续切分相同源字符串时,除了将str参数赋值为NULL,还要传递上次切分时保存下的saveptr。

举个例子,还记得前文提到的提取结构体的例子么?我们可以使用strtok_r,以双重循环的形式提取出每个人的信息。

  1. int in=0;  
  2. char buffer[INFO_MAX_SZ]=“Fred male 25,John male 62,Anna female 16”;  
  3. char *p[20];  
  4. char *buf=buffer;  
  5. char *outer_ptr=NULL;  
  6. char *inner_ptr=NULL;  
  7. while((p[in] = strtok_r(buf, “,”, &outer_ptr))!=NULL)   
  8. {  
  9.     buf=p[in];  
  10.     while((p[in]=strtok_r(buf, ” “, &inner_ptr))!=NULL)   
  11.     {  
  12.         in++;  
  13.         buf=NULL;  
  14.     }  
  15.     buf=NULL;  
  16. }  
  17. printf(“Here we have %d strings/n”,in);  
  18. for (int j=0; j<in; j++)  
  19. {     
  20.     printf(“>%s</n”,p[j]);  
  21. }  

<span role="heading" aria-level="2">strtok函数和strtok_r函数

调用strtok_r的代码比调用strtok的代码多了两个指针,outer_ptr和inner_ptr。outer_ptr用于标记每个人的提取位置,即外循环;inner_ptr用于标记每个人内部每项信息的提取位置,即内循环。具体过程如下:

(1)第1次外循环,outer_ptr忽略,对整个源串提取,提取出”Fred male 25″,分隔符’,’ 被修改为了’/0’,outer_ptr返回指向’J’。

(2)第一次内循环,inner_ptr忽略对第1次外循环的提取结果“Fred male 25″进行提取,提取出了”Fred”,分隔符’ ‘被修改为了’/0’,inner_ptr返回指向’m’。

(3)第二次内循环,传递第一次内循环返回的inner_ptr,第一个参数为NULL,从inner_ptr指向的位置’m’开始提取,提取出了”male”,分隔符  ‘ ‘被修改为了’/0’,inner_ptr返回指向’2’。

(4)第三次内循环,传递第二次内循环返回的inner_ptr,第一个参数为NULL,从inner_ptr指向的位置’2’开始提取,提取出了”25″,因为没有找到’ ‘,inner_ptr返回指向25后的’/0’。

(5)第四次内循环,传递第三次内循环返回的inner_ptr,第一个参数为NULL,因为inner_ptr指向的位置为’/0’,无法提取,返回空值。结束内循环。

(6)第2次外循环,传递第1次外循环返回的outer_ptr,第一个参数为NULL,从outer_ptr指向的位置’J’开始提取,提取出”John male 62″,分隔符’,’被修改为了’/0’,outer_ptr返回指向’A’。(调用strtok则卡死在了这一步

……以此类推,外循环一次提取一个人的全部信息,内循环从外循环的提取结果中,二次提取个人单项信息。

可以看到strtok_r将原内部指针显示化,提供了saveptr这个参数。增加了函数的灵活性和安全性。

 

3.strtok和strtok_r的源代码

这两个函数的实现,由众多的版本。我strtok_r来自于GNU C Library,strtok则调用了strtok_r。因此先给出strtok_r的源代码。

  1. /* 
  2.  * strtok_r.c: 
  3.  * Implementation of strtok_r for systems which don’t have it. 
  4.  * 
  5.  * This is taken from the GNU C library and is distributed under the terms of 
  6.  * the LGPL. See copyright notice below. 
  7.  * 
  8.  */  
  9.   
  10. #ifdef HAVE_CONFIG_H   
  11. #include “configuration.h”   
  12. #endif /* HAVE_CONFIG_H */   
  13.   
  14. #ifndef HAVE_STRTOK_R   
  15.   
  16. static const char rcsid[] = “$Id: strtok_r.c,v 1.1 2001/04/24 14:25:34 chris Exp $”;  
  17.   
  18. #include <string.h>   
  19.   
  20. #undef strtok_r   
  21.   
  22. /* Parse S into tokens separated by characters in DELIM. 
  23.    If S is NULL, the saved pointer in SAVE_PTR is used as 
  24.    the next starting point.  For example: 
  25.         char s[] = “-abc-=-def”; 
  26.         char *sp; 
  27.         x = strtok_r(s, “-“, &sp);      // x = “abc”, sp = “=-def” 
  28.         x = strtok_r(NULL, “-=”, &sp);  // x = “def”, sp = NULL 
  29.         x = strtok_r(NULL, “=”, &sp);   // x = NULL 
  30.                 // s = “abc/0-def/0” 
  31. */  
  32. char *strtok_r(char *s, const char *delim, char **save_ptr) {  
  33.     char *token;  
  34.   
  35.     if (s == NULL) s = *save_ptr;  
  36.   
  37.     /* Scan leading delimiters.  */  
  38.     s += strspn(s, delim);  
  39.     if (*s == ‘/0’)   
  40.         return NULL;  
  41.   
  42.     /* Find the end of the token.  */  
  43.     token = s;  
  44.     s = strpbrk(token, delim);  
  45.     if (s == NULL)  
  46.         /* This token finishes the string.  */  
  47.         *save_ptr = strchr(token, ‘/0’);  
  48.     else {  
  49.         /* Terminate the token and make *SAVE_PTR point past it.  */  
  50.         *s = ‘/0’;  
  51.         *save_ptr = s + 1;  
  52.     }  
  53.   
  54.     return token;  
  55. }   

代码整体的流程如下:

(1)判断参数s是否为NULL,如果是NULL就以传递进来的save_ptr作为起始分解位置;若不是NULL,则以s开始切分。

(2)跳过待分解字符串开始的所有分界符。

(3)判断当前待分解的位置是否为’/0’,若是则返回NULL(联系到(一)中所说对返回值为NULL的解释);不是则继续。

(4)保存当前的待分解串的指针token,调用strpbrk在token中找分界符:如果找不到,则将save_ptr赋值为待分解串尾部’/0’所在的位置,token没有发生变化;若找的到则将分界符所在位置赋值为’/0’,token相当于被截断了(提取出来),save_ptr指向分界符的下一位。

(5)函数的最后(无论找到还是没找到)都将返回。

对于函数strtok来说,可以理解为用一个内部的静态变量将strtok_r中的save_ptr给保存起来,对调用者不可见。其代码如下:

    1. char *strtok(char *s, const char *delim)  
    2. {  
    3.     static char *last;  
    4.   
    5.     return strtok_r(s, delim, &last);  
    6. }  
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/154519.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • hdu 3037 Saving Beans(组合数学)

    hdu 3037 Saving Beans(组合数学)

    2021年11月29日
  • python之for循环详解_python循环5次

    python之for循环详解_python循环5次目录1、可以明确循环的次数2、iteratle_object(可迭代对象)3、enumerate()使用方法为4、补充:统计文件行数可以这样写:1、可以明确循环的次数遍历一个数据集内的成员 在列表解析中使用 生成器表达式中使用2、iteratle_object(可迭代对象)String(字符串) List(列表) Tuple(元组) Dictionary…

  • oracle连接出现ora-12154,与虚拟机Oracle连接出现ora-12154问题的解决方法

    oracle连接出现ora-12154,与虚拟机Oracle连接出现ora-12154问题的解决方法谈到ora-12154问题,网上有一大堆解决方法,原因基本统一:tns或listener配置不正确。对于listener配置不正确的一般较少发生,大多数人都是按照默认配置一路“下一步”过来的,基本都是orcl的服务名,如果说本地可以连通orcl,别的机子就连不通那应该跟listener关系不大。大部分都是tns配置不正确。我遇到的现象是:在本机建了一个2003的虚拟机,虚拟机里面装了oracle1…

  • WDM 驱动程序开发[通俗易懂]

    WDM 驱动程序开发[通俗易懂]1.概述 引入了全新的WDM(Win32DriverModel)的驱动程序架构,说是新技术,其实早在1997年Microsoft就提出了该项技术并在Windows98中得到了充分的应用,换句话说,Windows98也支持WDM。这样WDM就成为了一个跨平台的驱动程序模型不仅如此WDM驱动程序还可以在不修改源代码的情况下经过重新编译后在非Intel平台上运行。2.WDM设备驱动程序的特

    2022年10月21日
  • conda安装Pytorch下载过慢解决办法(11月26日更新ubuntu下pytorch1.3安装方法)

    conda安装Pytorch下载过慢解决办法(11月26日更新ubuntu下pytorch1.3安装方法)目录添加清华源安装PyTorch3月5日更新ubuntu下pytorch1.0.1安装方法(Ubuntu16.04+CUDA9.0+PyTorch1.0.1)7月23日更新ubuntu下pytorch1.1安装方法(通过pip)11月26日更新ubuntu下pytorch1.3安装(通过conda)pytorch最近已经更新到了稳定版本的1.0.1,从Pytorch官网上可…

  • python实现QQ和微信刷屏[通俗易懂]

    python实现QQ和微信刷屏[通俗易懂]python实现QQ和微信刷屏看过一些用来刷屏的程序,要么就只能刷屏QQ,要么就只能刷屏微信,今天博主就来把它一起实现了,而且用法超简单的哦!!!,希望可以帮助到你!废话不多说,先上代码,然后再进行详细介绍!!!frompynputimportmouse,keyboardfromtkinterimport*importtkinter.filedialogimporttimeroot=Tk()root.title(“信息刷屏”)root.geometry(“550×200

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号