python,lxml和xpath – html表解析

我是lxml的新手,对python来说很新,无法找到以下解决方案:

我需要从第3行导入一些包含3列和未定义行数的表.

当任何行的第二列为空时,将丢弃此行并中止对该表的处理.

以下代码打印表的数据很好(但之后我无法重用数据):

from lxml.html import parse

def process_row(row):  
    for cell in row.xpath('./td'):  
        print cell.text_content()  
        yield cell.text_content()  

def process_table(table):  
    return [process_row(row) for row in table.xpath('./tr')]

doc = parse(url).getroot()  
tbl = doc.xpath("/html//table[2]")[0]  
data = process_table(tbl)  

这只打印第一列:(

for i in data:  
    print i.next()

以下仅导入第三行,而不是后续行

tbl = doc.xpath("//body/table[2]//tr[position()>2]")[0]

任何人都知道一个奇特的解决方案,将第3行的所有数据都转换为tbl并将其复制到一个数组中,以便将其处理成一个没有lxml依赖的模块?

先谢谢你的帮助,Alex

最佳答案
这是一个发电机:

def process_row(row):  
     for cell in row.xpath('./td'):  
         print cell.text_content()  
         yield cell.text_content() 

你正在调用它,好像你认为它返回一个列表.它没有.有些上下文的行为类似于列表:

print [r for r in process_row(row)]

但这只是因为生成器和列表都将相同的接口暴露给for循环.在仅被评估一次的上下文中使用它,例如:

return [process_row(row) for row in table.xpath('./tr')]

只为每个新值的行调用一次生成器的新实例,返回第一个产生的结果.

这是你的第一个问题.你的第二个是你期待的:

tbl = doc.xpath("//body/table[2]//tr[position()>2]")[0]

为您提供第三行和所有后续行,并且它仅将tbl设置为第三行.好吧,对xpath的调用返回第三行和所有后续行.这是最后的[0]搞砸了你.

转载注明原文:python,lxml和xpath – html表解析 - 代码日志