引用自：http://blog.jobbole.com/107759/

gdb 调试 ncurses 全过程：

发现网上的“gdb 示例”只有命令而没有对应的输出，我有点不满意。gdb 是 GNU 调试器，Linux 上的标配调试器。当我看 Greg Law 在 CppCon 2015 上的演讲《给我 15 分钟，我将改变你的对 GDB 的认知》的时候，我想起了示例输出的不足，幸运的是，这次有输出！这 15 分钟太值了。

它也启发我去分享一个完整的 gdb 调试实例，包含输出和每个步骤，甚至钻牛角尖的情况。这不是一个特别有趣或奇怪的问题，只是常规的 gdb 调试会话。但它包含了基础的东西可以勉强作为教程使用，记住 gdb 里还有很多东西我这里没用到。

我会以 root 权限运行下面的命令，因为我在调试一个工具，它需要 root 权限（目前）。需要的时候可用 sudo 获取 root 权限。你也没必要通读全篇︰ 我已列出每一步，你可以浏览它们找感兴趣的看。

1. 问题概述

BPF 工具箱里的 bcc 工具集有一个对cachetop.py 的 pull 请求，它通过程序使用 top-like display 显示 page cache 的统计。太好了 ！然而，当我测试它时，遇到了段错误︰

注意它说的是“段错误”，不是“段错误（核心已转储）”。我想要一个核心转储文件用来调试。（核心转储文件是进程内存的拷贝 – 这个名字来源于磁芯存储器时代 – 可用调试器分析）

分析核心转储文件是一种方法，但不是调试这个问题的唯一方法。我可以在 gdb 中运行此程序，来检查这个问题。我也可以在段错误发生时，用外部追踪器去抓数据和栈帧。我们从核心转储文件入手。

2. 解决核心转储问题

我检查一下核心转储的设置：

ulimit -c 显示核心转储文件大小的最大值，这里是零：禁止核心转储（对于本进程和它的子进程）。

/proc/…/core_pattern 仅仅被设为 “core”，表示会在当前目录下生成一个文件名为 “core” 的 核心转储文件。目前这样就行了，但是我要演示如何把它设置为全局位置。

你可以进一步定制 core_pattern；例如，%h 为主机名，%t 为转储的时间。这些选项被写在 Linux 内核源码 Documentation/sysctl/kernel.txt中。

要使 core_pattern 保持不变，重启之后仍然有效，你可以通过设置 /etc/sysctl.conf 里的 “kernel.core_pattern” 实现。

再来一次：

好多了：我们有了自己的核心转储文件。

3. 启动 GDB

现在我要用 gdb 启动目标程序（用 shell 替换符，”`”，不过在你确定能用的情况下，也可指定完整路径），和核心转储文件：

最后两行很有趣：它告诉我们这个段错误发生在 libncursesw 库里 doupdate() 函数中。可以先在网上搜一下，以防这是个很常见的问题。我搜了一下，可是没发现一个常见的原因。

我已经猜到 libncursesw 是什么了，如果你对它很陌生，它在 “/lib” 目录下以 “.so.*” 结尾表明这是一个动态库文件，可能有 man 手册、网站、包描述等。

我是碰巧在 Ubuntu 上调试，但用什么 Linux发行版对使用 gdb 并没有影响。

4. 回溯

栈回溯显示我们是如何到达失败点的，通常足够帮助我们确定常见的问题。bt （backtrace的简写）常常是我在 gdb 中使用的第一条命令：

从下往上，按照从父函数到子函数的顺序看。有 “??” 的地方是因为符号解析失败。遍历栈 – 用来生成栈帧 — 也会失败。在这种情况下你可能会看到一个正常的栈帧，跟着一个小数值的假地址。如果符号或栈破损很严重，导致无法理解栈回溯，这里有几个常用的办法来修复：安装 debug info 包（给 gdb 提供更多的符号，让它来做基于 DWARF 的栈遍历），或者重新用源码编译（-fno-omit-frame-pointer -g）一个带帧指针和调试信息的版本。以上大多数 “??”
可以通过安装 python-dbg 包来修复。

这些栈看起来不太有用：帧 5 到 17 （左边的索引）在 Python 内部，虽然还看不到 Python 方法。帧 4 是 _curses 库，然后就到了 libncursesw。看起来调用顺序是 wgetch()->wrefresh()->doupdate()。根据函数名来看，我猜是刷新窗口。为什么会导致核心转储 呢？

5. 反汇编

我从反汇编发生段错误的函数 doupdate() 开始：

部分输出。（我也可以只输入 “disas” 它会默认反汇编 doupdate ）

“=>” 指向段错误地址，此处是一条 mov 指令 mov 0x10(%rsi),%rdi：从%rsi中指向内存地址的值加偏移量 0x10 处取值，送到 %rdi 寄存器中。接下来我会检查寄存器的状态。

6. 查看寄存器

使用 i r（info registers 的简写）打印寄存器值：

哦，%rsi是零，这就是我们的问题所在！零不太可能是有效地址，并且解引用一个未初始化的指针或空指针引起的段错误是常见的软件 bug。

7. 内存映射

你可以使用 i proc m （info proc mappings 的简写）核查零是不是有效地址：

第一个有效的虚拟地址是 0x400000。任何小于它的地址都是非法的，这些地址如果被引用，就会引起段错误。

目前有几种不同的方式可做进一步分析。我先一步一步的看指令。

8. 断点

先回到反汇编：

看这四条指令：好像是从栈中取东西放到 %rax，然后解引用 %rax 到 %rsi，再将 %eax 置零（ xor 是一个优化，替换掉移动 0 的动作），最后将 %rsi 解引用再加一个偏移，不过我们知道 %rsi 是零。这几条指令用来访问数据结构。 可能 %rax 会很有趣，但是它已经被前面的指令置零，所以我们在核心转储文件的寄存器里看不到它的值。

我可以在 doupdate+289 下个断点，然后逐条指令查看寄存器的值如何变化。首先，我需要启动 gdb 把程序跑起来：

现在用 b （break 的简写）来下断点：

哦。我想演示这个错误来解释为什么我们经常以在主函数设置断点作为开始，因为这时候符号可能被加载，可以设置感兴趣的断点。我直接在 doupdate 函数设断点，避开这个问题，一旦断点被触发就设置加了偏移的断点。

我们到了断点处。

如果你之前没有做这些，r (run) 命令会把参数传给我们早先在命令行指定的 gdb 目标（python）。这样的话程序会以执行 “python cachetop.py” 结束。

9. 单步调试

我跳到下一条指令（si，stepi的简写），然后检查寄存器：

又一条线索。所以我们解引用的空指针好像是一个叫 “cur_term” 的符号（p/a 是 print/a 的简写，这里 “/a” 指以地址的形式）。考虑到这是 ncurses, 是我们的环境变量 TERM 设置有问题吗？

我试过将其设置为 vt100 并运行程序，还是遇到了同样的段错误。

注意我只是在 doupdate() 第一次被调用的时候查看了寄存器，但是它可以被多次调用，所以问题可能出在后边的调用中。我可以通过执行 c（ continue 的简写）一步步到达出问题的地方。如果它被调用几次的话这样做是可行的，如果它被调用几千次的话我得用别的办法。（我会在 15 节的里介绍。）

10. 回退

gdb 有一个超棒的功能叫回退，Greg Law 在他的演讲中提到过。这里有一个例子。

我再启动一个 python 会话，从头演示：

和之前一样我在 doupdate 下断点，一旦触发，我就启动 recording，然后继续运行程序直到崩溃。Recording 会增加相当大的开销，所以我不想在主函数里就将它打开。

这里我可以逐行或逐条指令的回退。它通过播放我们记录的寄存器状态来工作。我回退两条指令，然后打印寄存器值：

所以，又找到了 “cur_term” 的线索。我很想看这里的源代码，但我将从调试信息入手。

11. 调试信息

这是 libncursesw，我没有安装调试信息（Ubuntu）：

我把它装上：

太好了，版本匹配。那么现在我们的段错误是什么样子呢？

栈回溯看起来不太一样：我们确实不在 doupdate() 里边，而是在 ClrBlank() 中，它内联在 ClrUpdate() 里，ClrUpdate() 又内联在 doupdate() 中。

现在我真的要看源码了。

12. 源代码

安装了调试信息之后，gdb 可以同时列出源码和汇编：

好极了！看 “=>” 和它上边的代码。所以我们的段错误发生在 “if (back_color_erase)” ？看起来不可能。

这里我检查了一下，我的调试信息版本是对的，重新在 gdb 里边运行程序直到发生段错误。错误相同。

back_color_erase 有什么特殊吗？我们现在在 ClrBlank() 中，我先列出源码：

啊，在这个函数里边没定义，难道是全局变量？

13. TUI

有必要看看这些代码在 gdb 的文本用户界面（TUI）里是什么样的，我用的不多，是看了 Greg 的演讲之后受到的启发。

你可以用 –tui 来启动：

它在抱怨没有 Python 源码。我可以搞定，但是我们是在 libncursesw 里边崩溃的。所以不管它敲回车让它完成加载，在发生错误的地方加载了 libncursesw 调试信息里的源码：

棒极了！

“>” 指向发生崩溃的那行代码。更棒的是：用 layout split 命令，我们可以在不同的窗口查看源代码和汇编代码。

Greg 演示这个的时候，和这里的顺序相反，因此你可想像同时查看源代码和汇编的情景（这里我需要一个视频来演示）。

14. 外部工具：cscope

我需要对 back_color_erase 有更多了解，我可以试试 gdb 的 搜索命令，但是我发现用一个外部工具：cscope 更快。 cscope 是一个基于文本的代码浏览器 ，诞生于80年代的贝尔实验室。如果你有喜欢的现代 IDE，可以不用它。

安装 cscope：

cscope -bqR　用来建立查找数据库。cscope -dq 用来启动 cscope。

查找 back_color_erase 的定义：

敲回车：

哦，一个宏定义。（作为宏定义的常见的形式，它们至少应该大写）

好吧，那么 CUR 是什么呢？ 用 cscope 查找定义易如反掌。

起码这个宏定义是大写的！

我们通过逐条查看指令和寄存器找更早定义的 cur_term 。它是什么呢？

cscope 读取了 /usr/include/term.h 。好吧，更多的宏。我用加粗来突出这行代码， 我认为它产生了影响。为什么这里会有 “if 0 && !0 … elif 0” ？我不清楚（需要再读些代码）。有时程序员会在他们想要在产品中失效的调试代码附近使用 “#if 0”，可是，这个好像是自动生成的。

查找 NCURSES_EXPORT_VAR 发现：

… 和 NCURSES_IMPEXP：

… 还有 TERMINAL：

嗨！TERMINAL 是大写的。和宏混在一起，这个代码不太好跟踪 …

好吧，到底是谁给 cur_term 赋的值呢？记住我们的问题是它被赋值为零，也许因为它未被初始化或显式赋值。浏览给它赋值的代码路径可能会找到更多的线索，来回答为什么没被初始化，或为什么被赋值为零。使用 cscope 的第一个选项：

快速浏览项发现：

我加了高亮。甚至函数名称都被封装在宏里。但至少我们发现了 cur_term 如何被赋值的：通过 set_curterm()。也许它没被调用？

15. 外部工具：perf-tools/ftrace/uprobes

我稍后将介绍如何用 gdb 解决这个问题，可是我忍不住尝试我 perf-tools 工具箱里的 uprobe 工具，它使用 Linux 下的 ftrace 和 uprobes。用 tracers 的一个好处是它不会终止目标进程，像 gdb 一样（尽管对于这里的 cachetop.py 没什么用）。另一个好处是追踪几个和几千个进程一样容易。

我应该能追踪 libncursesw 对 set_curterm() 的调用，甚至打印出它的第一个参数：

咦，没起作用。set_curterm() 在哪？有很多方法可以找到它，比如 gdb 或 objdump：

gdb 表现的好些。此外如果仔细看源代码，我注意到它是为 libtinfo 构建的。

试着在 libtinfo 里边查找 set_curterm() ：

找到了。所以 set_curterm() 被调用了，并且被调用了四次。最后一次被传了一个零，看起来这就是问题所在。

如果你觉得疑惑，我怎么就知道 %di 寄存器就是第一个参数呢，因为 AMD64/x86_64 ABI 写着呢（假设这个库和 ABI 兼容）。这里有提示：

我还想知道调用 arg1=0x0 的堆栈信息，但是 ftrace 还不支持栈追踪。

16. 外部工具：bcc/BPF

由于我们在调试 bcc 工具 cachetop.py，值得注意的是 bcc 里的 trace.py 有和我的老工具 uprobe 类似的功能：

是的，我们在用 bcc 调试 bcc ！

如果你对 bcc 不熟悉，它值得一看。它为 Linux4.x 系列里的 BPF 新特性提供了 Python 和 lua 接口 。总之，它能让很多以前不可能或昂贵以致无法运行的性能工具运行起来。我以前发过贴介绍如何在 Ubuntu Xenial 上运行它。

bcc 的 trace.py 工具应该有一个开关来决定是否打印用户堆栈，因为内核从 Linux4.6 开始具备 BPF 堆栈功能，不过到写这篇文章的时候我们还没有加上这个开关。

17. 更多的断点

我真的应该从在 set_curterm() 下了断点的 gdb 入手，可是我觉得我们走的弯路，使用ftrace和BPF的还是蛮有趣的。

回到实时运行模式：

好的，在这个断点我们可以看到 set_curterm() 被调用了，被传了一个 termp = 0x0 的参数， 多亏了 debuginfo 提供的信息。如果没有 debuginfo ，我只能在每个断点处打印寄存器值。

我打印栈帧出来，这样我们可以看到是谁将 curterm 设为零的。

好了，有了更多的线索…我认为。我们在 llvm::sys::Process::FileDescriptorHasColors()里边。llvm 编译器有问题？

18. 外部工具：cscope，再来一次

代码较多的时候使用 cscope 查看，这次是 llvm。FileDescriptorHasColors() 函数：

这是较早版本中使用的代码：

用空指针调用 set_curterm() 变成了 “愚蠢的舞蹈” 。

19. 写内存

作为实验，我要修改程序内存来避免 set_curterm() 被置零，用来探索可能的解决方法。

运行 gdb ，在 set_curterm() 下断点，跑到零调用的地方：

这里我用 set 命令来改写内存，把零换成在前面看到的 set_curterm() 参数 0xbecb90 ，希望它仍是合法的。

警告：写内存不安全！gdb 不会问你 “你确定？”。如果你写错了或者敲错了，会搞坏程序。最好的情况是你的程序立即奔溃，你意识到自己做错了。最糟的情况，程序使用坏的数据继续运行几年之后被发现是错的。

这里，我在不用于生产的实验室机器上做试验，所以我继续。
我以16进制（p/x）的形式打印 %rdi 的值，然后将其设为之前的地址，再打印一次，最后打印所有寄存器的值：

（因为这里我已经安装了调试信息，因此不必使用寄存器，我可以设置传给 set_curterm() 的参数参数 “termp”，而不是 $rdi。）

现在 %rdi 被用到了，所以那些寄存器看起来还能继续用。

好的，在调用 set_curterm() 时程序没崩！但遇到另一个参数也是零的问题。我们故技重施：

啊。这就是我写内存的后果。所以这次试验以另一个段错误结束。

20. 条件断点

在前面一节，我用了 3 个 continues 到达断点的正确调用处。如果有几百次调用的话，就得用条件断点了。这里有个例子。

和之前一样我运行程序，在 set_curterm() 下断点：

现在我要将 1 号断点变成条件断点，这样它只会在 %rdi 的值为零是被触发：

漂亮！cond 是 conditional 的简写。为什么当我第一次创建 “pending” 断点的时候没有立即运行它呢？因为我发现在 pending 断点上条件不管用，至少在这个版本的 gdb 上是这样。（要么是我哪里做错了。）我也用 i b （info breakpoints）列出了断点信息。

21. 返回命令

我曾经试过另一个改值的方法，但是这次我要改指令而不是数据。

警告：看前边的警告，这里也适用。

和之前一样我们来到 set_curterm 零断点处，然后敲入 ret （return 的简写），就会立即从此函数返回并且不执行这个函数。我想用不执行函数的方式让全局变量 curterm 不被置零。

又崩了。这是我搞砸的现场。

再试一次。在多看了一点代码之后，我想第二次尝试 ret，以防父函数被卷进来。再来一次，这只是一次非常规试验：

屏幕清空暂停…然后刷新：

哇！成功了！

22. 更好的方案

我已经把调试输出发布到 github，因为 BPF 首席工程师，Alexei Starovoitov 对 llvm 也很精通，问题的根源好像是 llvm 的一个 bug。当我在用写内存和返回命令瞎搞的时候，他建议我在 bcc 加上 llvm 选项 -fno-color-diagnostics，来避免这个问题。成功了！把它加到 bcc 里是一个解决办法。（我还是希望 llvm 的 bug 能被修复）

23. Python 环境

至此问题已经解决了，但是你可能会好奇想看修复好的堆栈回溯。

安装 python-dbg：

现在我回到 gdb 来看堆栈回溯：

没有 “??” 了，但也没什么大用。

python 调试包给 gdb 加入了别的功能。现在我们可以看 python 的回溯：

… 和Python 源码：

它识别出了我们之前执行的 python 代码中的段错误。真是太棒了！

原先堆栈回溯的问题是我们看到了 python 内部在执行方法，却看不到方法本身。如果你调试别的语言，要取决于它的编译选项和运行环境,还有怎么结束执行代码。如果你在网上搜索 “语言名” 和 “gdb” 你可能会找到像 Python 一样的 gdb 扩展。如果没有的话，坏消息是你需要自己写，好消息是这样做是可行的！当它们可以用 Python 来写的时候，请搜索 “adding new GDB commands in Python” 的资料。

24. 更多命令

看起来好像我写了一个 gdb 的全面介绍，但我真的没有：gdb 里还有很多命令我没提到。help 命令列出了主要部分：

你可以对每一类命令执行 help。例如，这是 breakpoints 类的全部清单：

这些帮助表明了 gdb 有很多功能，也说明了我在示例中用到的只是一小部分。

25. 结语

好吧，这个问题有点恶心：一个 LLVM bug 破坏了 ncurses 并引起了 Python 程序的段错误。但是我用来调试的命令和步骤很常见：看堆栈，检查寄存器，下断点，逐步排查，看源码。

当我第一次使用 gdb 的时候（多年前），我真的不喜欢它。觉得它不灵活而且功能有限。从那之后 gdb 进步了很多，我也掌握了 gdb 的技巧，我现在认为它是一个强大的现代调试器。不同的调试器特性可能不同，但是 gdb 可能是目前基于文本的最强大的调试器，lldb 正奋起直追。

我希望我分享的有完整输出的 gdb 示例和我提到的不同的警告，会对搜到它的人有帮助。有机会的话我会发布更多的 gdb 示例，特别是其他运行环境比如Java。

用 q 退出 gdb。

最新文章

1. Java的流程控制和C++的异同
2. Visual Studio 实现 编写一套.net代码，同时编译到 多个平台，多版本的操作笔记
3. C# 解析html —— 将html转为XHTML，然后利用Xml解析
4. ListActivity的CheckBox点击事件
5. RHEL每天定时备份Oracle
6. 详解<a>标签
7. Android 中Thread,Handler,Loop学习
8. SSH_框架整合5--验证用户名是否可用
9. 数据库 mysql 优化器原理
10. Spring.net Could not load type from string value问题解决办法
11. Linux---弹球游戏
12. Java实战之04JavaWeb-01Servlet
13. 【原】Spark数据本地性
14. swift 使用pod管理
15. 深入探究stm32GPIO口模式（类比51）
16. win7下安装memcached出现failed to install service or service already installed解决办法
17. 焦点轮播图（tab轮播）
18. python-数据类型之题型
19. python3基础知识梳理
20. SpringMVC 启动流程

热门文章

1. 09 Zabbix Item类型之Zabbix SNMP类型
2. 自学Aruba4.3-Aruba AC基础配置(2)
3. 架构师成长之路2.3-PXE+Kickstart无人值守大量部署Linux
4. 洛谷 P1378 油滴扩展 改错
5. DIVCNT2&&3 - Counting Divisors
6. 【洛谷P1248】加工生产调度
7. 使用php与mysql构建我们的网站
8. Codeforces Round #510 (Div. 2)(C)
9. 修改Linux Operating System的时间与时区
10. oracle 递归和connect by【转】