把项目删除，重新clone了下，然后重装了ruby，就可以了，不知道为什么。
感谢楼上各位～

@046569 加了梯子也还是不行，shadowsocks...
http://ww3.sinaimg.cn/large/a7839d61jw1escibscqbjj20pm07cafh.jpg

@046569 不是的，试过了8.8.8.8，和alidns，都还是不行。

报错是 no such name，感觉很疑惑，附相信错误信息：
➜ metasploit-framework git:(master) gem install bundler --debug
Exception `LoadError' at /Users/chu/.rbenv/versions/2.1.6/lib/ruby/2.1.0/resolv.rb:169 - LoadError
Exception `Resolv::DNS::Config::NXDomain' at /Users/chu/.rbenv/versions/2.1.6/lib/ruby/2.1.0/resolv.rb:547 - _rubygems._tcp.ruby.taobao.org
Exception `Resolv::DNS::Config::NXDomain' at /Users/chu/.rbenv/versions/2.1.6/lib/ruby/2.1.0/resolv.rb:547 - _rubygems._tcp.ruby.taobao.org.local
Exception `Resolv::ResolvError' at /Users/chu/.rbenv/versions/2.1.6/lib/ruby/2.1.0/resolv.rb:492 - DNS result has no information for _rubygems._tcp.ruby.taobao.org
Exception `Errno::EEXIST' at /Users/chu/.rbenv/versions/2.1.6/lib/ruby/2.1.0/fileutils.rb:250 - File exists @ dir_s_mkdir - /Users/chu/.gem/specs/ruby.taobao.org%443
Exception `SocketError' at /Users/chu/.rbenv/versions/2.1.6/lib/ruby/2.1.0/net/http.rb:879 - getaddrinfo: Invalid value for ai_flags
Exception `Gem::RemoteFetcher::UnknownHostError' at /Users/chu/.rbenv/versions/2.1.6/lib/ruby/2.1.0/rubygems/remote_fetcher.rb:283 - no such name (https://ruby.taobao.org/latest_specs.4.8.gz)
Exception `Gem::RemoteFetcher::UnknownHostError' at /Users/chu/.rbenv/versions/2.1.6/lib/ruby/2.1.0/rubygems/spec_fetcher.rb:268 - no such name (https://ruby.taobao.org/latest_specs.4.8.gz)
Exception `Gem::SpecificGemNotFoundException' at /Users/chu/.rbenv/versions/2.1.6/lib/ruby/2.1.0/rubygems/dependency_installer.rb:297 - Could not find a valid gem 'bundler' (>= 0) locally or in a repository
ERROR: Could not find a valid gem 'bundler' (>= 0), here is why:
Unable to download data from https://ruby.taobao.org/ - no such name (https://ruby.taobao.org/latest_specs.4.8.gz)
Exception `Errno::EEXIST' at /Users/chu/.rbenv/versions/2.1.6/lib/ruby/2.1.0/fileutils.rb:250 - File exists @ dir_s_mkdir - /Users/chu/.gem/specs/ruby.taobao.org%443
Exception `SocketError' at /Users/chu/.rbenv/versions/2.1.6/lib/ruby/2.1.0/net/http.rb:879 - getaddrinfo: Invalid value for ai_flags
Exception `Gem::RemoteFetcher::UnknownHostError' at /Users/chu/.rbenv/versions/2.1.6/lib/ruby/2.1.0/rubygems/remote_fetcher.rb:283 - no such name (https://ruby.taobao.org/prerelease_specs.4.8.gz)
Exception `Errno::EEXIST' at /Users/chu/.rbenv/versions/2.1.6/lib/ruby/2.1.0/fileutils.rb:250 - File exists @ dir_s_mkdir - /Users/chu/.gem/specs/ruby.taobao.org%443
Exception `SocketError' at /Users/chu/.rbenv/versions/2.1.6/lib/ruby/2.1.0/net/http.rb:879 - getaddrinfo: Invalid value for ai_flags
Exception `Gem::RemoteFetcher::UnknownHostError' at /Users/chu/.rbenv/versions/2.1.6/lib/ruby/2.1.0/rubygems/remote_fetcher.rb:283 - no such name (https://ruby.taobao.org/specs.4.8.gz)
Exception `Gem::RemoteFetcher::UnknownHostError' at /Users/chu/.rbenv/versions/2.1.6/lib/ruby/2.1.0/rubygems/spec_fetcher.rb:268 - no such name (https://ruby.taobao.org/specs.4.8.gz)

➜ ~ brew list
autoconf gengetopt jpeg makedepend phantomjs readline tcptraceroute
automake gettext libdnet masscan pkg-config ruby-build tree
byacc git libevent mongodb postgresql scapy wget
cmake gmp libnet mysql proxychains-ng scons wxmac
cowsay go libpng node pypcap sqlite wxpython
curl hexedit libssh openssl python sslscan xz
ettercap hydra libtiff ossp-uuid python3 subversion
gdbm icu4c libtool pcre rbenv swig

感谢诸位，理解了

如果能接受得了的话，直接 rmbp

12' 太小了，要是我的话，还是换个13' 的 rmbp

@akira 是的，如果已知url量足够大的话，完全可以分析出哪里是参数。就个人的需求而言，做这个去重就是为了减少爬行的url数目。。所以感觉是个死结 : (
依旧感谢。

@lk09364 目前的项目就是扫描器，所以不可能针对每个站点自己去制定规则 : (

@lk09364 是的，我就是讲参数和path 分离的，但是很多url做了rewrite 或者pathinfo，如下：
http://a.com/p1/p2/a/1/b/2 ，这样的就很蛋疼，对于这种，只想出用一级目录，目录深度，尾部特征来做判断。但是可能会有漏报，比如题目中描述的 http://www.yigeshop.cn/index.php/home/shop_list/16、 http://www.yigeshop.cn/index.php/home/shop_details/24会被判断成相同的url

@lk09364 是的 我的代码也是这么写的，但是需求如题目，按已有的规则：
http://www.yigeshop.cn/index.php/home/shop_list/16、 http://www.yigeshop.cn/index.php/home/shop_details/24 会被判断成相同的url

@ruoyu0088 感谢，但是和我的需求还是不大一致。其实转换个说法，相当于怎么从一个url（rewrite）中提取出参数名称？
例如 http://www.yigeshop.cn/index.php/home/shop_list/9，参数就应该是9这部分，不知道能不能理解我的意思。。

@chuhades 只是

@lk09364 就个人的项目而言，如果我爬虫爬到了http://a.com/a/b/c/1-10000 1w个链接，我希望只输出一个就好，因为他们后端调用的应该是一样的，不同的知识参数

@binux 如4L，url rewrite

@ruoyu0088 urlparse 不够强啊，http://a.com/1.php?a=1&b=2 http://a.com/1.php?b=2&a=1 这两个其实是一样的，或者http://a.com/a/b/c/1，http://a.com/a/b/c/2 这两个也是一样的。目标正式去重这些