Чтобы вес камней навредил корням, то это должны быть булыжники. А вот лишняя сырость от них может быть. Периодически убирай камни и вскапывай землю.