字符串是不可变的，这意味着它们不能改变。你需要创建一个新的字符串并将其赋给变量。

l = l.Remove(start, eventName.Length);
l = l.Insert(start, newNameTextBox.Text.ToString());

MSDN：
字符串是不可变的--字符串对象的内容在对象创建后不能更改，尽管语法使它看起来好像您可以这样做。
Why .NET String is immutable?

你必须将这些改变赋给一个新的（字符串）变量。这个字符串变量不能是l，因为它是在foreach loop中迭代的变量，因此不能被改变。你必须依赖一个临时变量，如下面的代码所示。

foreach (var l in line)
{
    if (l.Contains(eventName))
    {
        string temp = l;
        int start = l.IndexOf(eventName);
        temp = temp.Remove(start, eventName.Length);
        temp = temp.Insert(start, newNameTextBox.Text.ToString());
        lines.Add(temp);
    }
    else
    {
        lines.Add(l);
    }
}

字符串上的函数返回结果字符串，但不更改字符串的值（如果不是全部，也是大部分字符串）
试试这个：

FileStream fs = new FileStream(filePath, FileMode.Open, FileAccess.Read);
    StreamReader sr = new StreamReader(filePath);

    string[] line = sr.ReadToEnd().Split(new string[] { Environment.NewLine }, StringSplitOptions.RemoveEmptyEntries);
    List<string> lines = new List<string>();

    string eventName = ','+eventNameUpdateTextBox.Text.ToString()+',';
    foreach (var l in line)
    {
        if (l.Contains(eventName))
        {
            int start = l.IndexOf(eventName);
            l = l.Remove(start, eventName.Length);
            l = l.Insert(start, newNameTextBox.Text.ToString());
            lines.Add(l);
        }
        else
        {
            lines.Add(l);
        }   
    }
    string toCsvOutput = string.Join(Environment.NewLine, lines.ToArray());