您的问题（导致代码无法按预期工作）是ul标记实际上没有嵌套在li标记中。ul标记是同一级别li标记之后的下一个标记。如果你的意思是它是嵌套的，那么你的HTML应该看起来像这样：

<ul id="mainlist">
<li>1</li>
<li class="selected">2
    <ul id="nested">
    <li>A</li>
    <li>B</li>
    <li>B</li>
    </ul>
</li>
<li>3</li>
</ul>​

然后，你的代码将按照你想要的那样工作。你可以在这里看到：http://jsfiddle.net/jfriend00/nfbPp/
如果你实际上是想让HTML保持原样，并且你只想选择下一个与.selected项处于同一级别的li标记，那么你需要不同的jQuery，因为.next()将选择下一个兄弟标记，即ul标记。你需要这样的东西：

$(".selected").nextAll('li:first').css("color", "red");​

这将检查所有后续的兄弟节点，并选择与选择器'li:first'匹配的节点（这将只获得第一个li标记）。
你可以在这里看到：http://jsfiddle.net/jfriend00/QrUtL/

这将为你的榜样。

$("li.selected").nextAll('li').css("color", "red");

对于最后一个列表元素

$("li.selected").nextAll('li:last').css("color", "red");

$(".selected").next().not('.selected #nested').css("color", "red");

可能会工作，不确定：），尝试一下

使用.nextAll()并过滤到第一个可以工作，即使它可能不是最有效的方法：

$(".selected").nextAll('li').first().css("color", "red");​​​​​

jsFiddle demo